Discord по ошибке заблокировал более 8 тыс. аккаунтов из-за сбоя в AI-модерации

Популярная американская коммуникационная платформа Discord подтвердила, что за последние два месяца из-за технической ошибки в системе автоматической модерации на базе искусственного интеллекта были ошибочно заблокированы более 8 тыс. пользовательских аккаунтов.

Valyuta.az сообщает, что электронные таблицы, шахматные доски, игровые текстуры, а также изображения с белым и серым прозрачным фоном были ошибочно помечены как рискованный контент.

Проблема затронула часть пользователей начиная с мая. После того как на выходных были заблокированы еще 200 аккаунтов, компания выявила и устранила ошибку.

Discord заявил, что все затронутые аккаунты уже восстановлены либо находятся в процессе восстановления. По словам компании, автоматическая система безопасности работает путем сравнения контента, которым делятся пользователи, с базой известных вредоносных материалов.

Хотя система предназначена для выявления незаконного или вредоносного контента, в отдельных случаях она может выдавать false positive — ложноположительный результат. В обычных условиях такие случаи должны проверяться модераторами, однако технический сбой привел к прямой блокировке части аккаунтов.

После инцидента многочисленные пользователи платформ X и Reddit сообщили, что их аккаунты были навсегда заблокированы после публикации обычных изображений с клетчатыми и сетчатыми узорами. По мнению пользователей, автоматическая модерация проявила чрезмерную чувствительность к таким визуальным материалам.

Эксперты считают, что причиной могло стать использование сетчатых узоров в прошлом для обхода систем обнаружения некоторого вредоносного контента. В результате система начала воспринимать и безвредные изображения как рискованные.

Пользователи отмечают, что применение постоянных блокировок аккаунтов исключительно на основании решений автоматических систем может создавать серьезные проблемы. Особенно это касается тех, кто использует Discord для работы, игровых сообществ и повседневного общения.

Discord сообщил, что продолжает работу над совершенствованием системы автоматической модерации и внедрением дополнительных мер безопасности, чтобы не допустить повторения подобных случаев.

Отметим, что в последние годы ошибочные решения автоматических систем модерации наблюдались и на других платформах. В прошлом году пользователи Instagram, Facebook Groups и Tumblr также жаловались на массовые блокировки аккаунтов без объяснения причин.

Рафига Абдин