🌍 Веду международный чат, вижу эту проблему постоянно. Экспаты, IT-команда из трёх стран, крипто-сообщество с аудиторией от Алматы до Берлина. Все пишут на своём языке или миксуют английский со сленгом.
Обычный бот-фильтр настроен под русский мат и пропускает всё остальное. Оскорбление на английском - норм. Токсичный комментарий на украинском - норм. Казахский сленг с явным наездом - тоже норм, потому что в словаре этого слова просто нет.
Добавлять список слов на каждом языке - тупиковый путь. Сленг меняется быстрее, чем вы успеваете обновлять базу, а контекст словарь вообще не считывает.
ИИ должен понимать смысл фразы, а не искать совпадение с строкой в базе
Если у вас интернациональный чат, проверьте, что реально фильтруется, а что просто выглядит как фильтрация. Попробовать можно здесь: t.me