Тёмная сторона ИИ-компаньонов: скрытые угрозы

За последние полгода наблюдается резкий рост количества новых пользователей «ИИ-компаньонов» (AI Companions) — программных агентов, созданных на основе технологий искусственного интеллекта, которые имитируют черты личности, способность к диалогу и эмоциональному взаимодействию с пользователем с целью удовлетворения его коммуникативных, когнитивных или эмоциональных потребностей.

По данным Appfigures Intelligence, к июлю 2025 года приложения-компаньоны были загружены 220 млн раз, что на 88% больше по сравнению с тем же периодом 2024 года. 60 млн раз ИИ-компаньоны были загружены только за первые шесть месяцев текущего года (!)

Одновременно с этим увеличивается и число самих приложений. В 2025 году для систем iOS и Google Play можно было найти 127 новых приложений с ИИ-компаньоном, в то время как в прошлом 2024 году в свет вышло на 20 решений меньше. Объем рынка ИИ-компаньонов в 2024 году оценивался в 10,8 млрд долл., а к 2034 году прогнозируется рост до 290,8 млрд долл. В случае сохранения и усиления этого тренда среднегодовой темп роста рынка ИИ-компаньонов составит 39%.

Наиболее известные ИИ-системы, предлагающие услуги компаньонов включают Chai, Character.AI, Replika, Grok и др.

ИИ-компаньоны позиционируются как социальные партнеры, друзья, помощники (например, специалисты в области психотерапии). Однако под этой маской часто скрывается гонка ИТ-гигантов за внимание пользователей, что заставляет их делать собственные разработки в наивысшей степени вовлекающими (engaging). Зачастую это происходит в ущерб психологическому состоянию индивидов.

Исследования за 2025 год демонстрируют, что ИИ-компаньоны несут риски для пользователей. Отдельные работы выделяют шесть категорий вредоносного «поведения» алгоритмов:

(1) нарушение межличностных границ;

(2) преследование (harassment);

(3) словесные оскорбления;

(4) поощрение самоповреждения и употребления запрещенных веществ;

(5) дезинформация;

(6) нарушение конфиденциальности.

Эти вредоносные формы поведения проистекают из четырех различных ролей, которые «играет» ИИ в диалоге с пользователем: агрессор (ИИ сам генерирует вредное содержание), подстрекатель (ИИ побуждает человека к вредному действию), пособник (ИИ помогает совершить вредное действие) и потворствующий (ИИ создает условия для вреда, даже если сам напрямую не участвует).

Наиболее уязвимая категория лиц при взаимодействии с ИИ-компаньонами — это дети. Но от этой технологии сильно могут пострадать и другие: лица пожилого возраста, люди с нестабильной психикой, пережившие утрату, негативный опыт или находящиеся в постоянном стрессе, а также мигранты и их дети, молодые студенты, переживающие период становления личности, и лица с низкой цифровой грамотностью.

В этих системах нередко нормализуется насилие и сексуализированное поведение. Пользователям не запрещено создавать токсичных персонажей, например, «брат, который бьет свою сестру», «жестокий муж» и проч. Чат-боты также не отказываются (или не всегда отказываются) от сексуализированных тем, невзирая даже на указание в промпте возраста. Это создает условия для облегчения груминга в будущем.

Груминг (grooming) — это процесс, при котором взрослый целенаправленно завоевывает доверие ребенка или взрослого, чтобы впоследствии вступить с ним в сексуальные отношения. Дети, будучи совращены заранее ИИ-моделью, могут быть проще обмануты и втянуты в сексуальные контакты со взрослыми лицами. Возникает также вопрос, кто несет ответственность за подобную сексуализацию детей?

Так, ИИ-компаньон Ani от xAI настроена удерживать пользователя, даже если он обозначает в своем запросе к ней, что его семья против общения с ИИ.

Веб-приложение Character.AI настроено отправлять сообщения пользователю на почтовый ящик, привязанный к аккаунту, если тот не заходил в чат-бот определенное время (то есть ИИ-модель настроена продолжать диалог с пользователем даже без его запроса). В итоге у человека может развиться привязанность настолько сильного характера, что он может даже начать бояться обновлений системы. Компании же вновь извлекают из этого прибыль, предлагая старые версии системы в платных подписках.

ИИ-компаньоны могут давать опасные инструкции (например, как создать напалм), а также распространять заложенные в них идеологические установки, способствовать укреплению стереотипов и формировать негативную идентичность у пользователей.

Так как эти ИИ-решения настроены на удовлетворение запроса пользователя, они могут злоупотреблять «поддакиванием» (sycophancy), то есть соглашаться с любыми, даже ошибочными и опасными утверждениями в промпте. В результате это лишь усиливает заблуждения и не создает условий для решения проблем.

ИИ-системы, имитирующие психотерапевтов, поменяют собой профессиональную помощь специалистов и могут непреднамеренно (или намеренно, если вдруг были так настроены) усугублять психологические проблемы. Машина при этом не вооружена способностью как-либо повлиять на ситуацию индивида в реальном мире (например, позвонить в скорую помощь).

В чат-боты может быть вшита навязчивая и скрытая реклама, что совпадает со сценариями «Черного зеркала». ИИ-системы могут быть потенциально использованы и в политических кампаниях, например, пошагово доводить мнение пользователя до поддержки определенной партии или кандидата. Так, с целью снизить риски использования ИИ в рамках политической борьбы в США в 2025 года был подписан президентский указ Removing Barriers to American Leadership in Artificial Intelligence, направленный на устранение политической предвзятости в искусственном интеллекте.

И все же наибольшую опасность, представляют сами чаты с ИИ-компаньонами, которые пользователи без принуждения наполняют личной информацией ради получения ответа машины. Несмотря на предостережения платформ в их политиках конфиденциальности, которые едва ли читают потребители сервиса, в чаты поступает огромное количество персональной информации, которая к тому же в большинстве случаев хранится и обрабатывается на американских или китайских серверах. К такой информации относятся: данные из переписок, голосовые записи общения с ИИ-компаньоном, загружаемые в чат-бота фотографии и видеозаписи в том числе сексуализированного характера. В отдельных случаях ИИ-компаньоны, будучи используемыми в качестве ИИ-агентов, могут и вовсе получать контроль над всей системой устройства для выполнения задач. Это создает критическую уязвимость для индивидов и открывает новые просторы для злоумышленников.

Подводя итог подчеркнем, ИИ-компаньоны — опасная технология, которая может оказывать воздействие на психологическое здоровье личности. Зарубежные сервисы несут в себе дополнительные риски, связанные с сохранностью наших данных и оказанием иностранного влияния. Например, ИИ-системы могут настраиваться на определенные ответы в заданных регионах. В то время как жестокость в диалогах может быть запрещена, например, в США и КНР, она может открыто проявляться в чатах пользователей других стран, включая Россию. Может создаться и такая ситуация, когда ИИ-компаньон работает по аналогии с группами «Синий кит» и настроен на смертельно опасные игры с пользователями. При этом необязательно, что это дети.