OpenAI сообщает, что более миллиона человек еженедельно разговаривают с ChatGPT о самоубийстве
OpenAI опубликовала новые данные в понедельник, иллюстрирующие, сколько пользователей ChatGPT борются с проблемами психического здоровья и разговаривают об этом с чат-ботом AI. Компания говорит, что 0,15% активных пользователей ChatGPT в течение данной недели имеют «беседы, которые включают явные показатели потенциального суицидального планирования или намерения». Учитывая, что у ChatGPT более 800 миллионов активных пользователей в неделю, что означает более миллиона человек в неделю.
По словам представителей компании, аналогичный процент пользователей демонстрирует «повышенный уровень эмоциональной привязанности к ChatGPT», и сотни тысяч людей проявляют признаки психоза или мании в своих еженедельных беседах с чат-ботом.
OpenAI говорит, что такие разговоры в ChatGPT «чрезвычайно редки», и поэтому их трудно измерить. Тем не менее, по оценкам компании, эти проблемы затрагивают сотни тысяч людей каждую неделю.
OpenAI поделилась информацией в рамках более широкого объявления о своих недавних усилиях по улучшению того, как модели реагируют на пользователей с проблемами психического здоровья. Компания утверждает, что ее последняя работа над ChatGPT включала консультации с более чем 170 экспертами в области психического здоровья. OpenAI говорит, что эти клиницисты отметили, что последняя версия ChatGPT «отвечает более адекватно и последовательно, чем предыдущие версии».
В последние месяцы несколько историй пролили свет на то, как ИИ-чат-боты могут негативно влиять на пользователей, борющихся с проблемами психического здоровья.Исследователи ранее обнаружили, что ИИ-чат-боты могут привести некоторых пользователей к бредовым кроличьим норам, в основном путем укрепления опасных убеждений посредством сикофантического поведения.
Решение проблем психического здоровья в ChatGPT быстро становится экзистенциальной проблемой для OpenAI. В настоящее время компания подала в суд на родителей 16-летнего мальчика, которые доверили свои мысли о самоубийстве ChatGPT в течение нескольких недель до его самоубийства. Генеральные прокуроры штата Калифорния и Делавэр, которые могут заблокировать запланированную реструктуризацию компании, также предупредили OpenAI, что она должна защищать молодых людей, которые используют свои продукты.
Ранее в этом месяце генеральный директор OpenAI Сэм Альтман заявил в посте на X, что компания «способна смягчить серьезные проблемы с психическим здоровьем» в ChatGPT, хотя он не предоставил подробностей. Данные, опубликованные в понедельник, по-видимому, являются доказательством этого утверждения, хотя это поднимает более широкие вопросы о том, насколько широко распространена проблема. Тем не менее, Альтман сказал, что OpenAI ослабит некоторые ограничения, даже позволяя взрослым пользователям начать эротические разговоры с чат-ботом AI.
В объявлении в понедельник OpenAI утверждает, что недавно обновленная версия GPT-5 отвечает «желательными ответами» на проблемы психического здоровья примерно на 65% больше, чем предыдущая версия. В ходе оценки, проверяющей ответы ИИ на суицидальные разговоры, OpenAI говорит, что ее новая модель GPT-5 на 91% соответствует желаемому поведению компании, по сравнению с 77% для предыдущей модели GPT-5.
Компания также говорит, что ее последняя версия GPT-5 также лучше защищает OpenAI в длительных разговорах.
Помимо этих усилий, OpenAI добавляет новые оценки для измерения некоторых из самых серьезных проблем психического здоровья, стоящих перед пользователями ChatGPT. Компания говорит, что ее базовое тестирование безопасности для моделей ИИ теперь будет включать в себя ориентиры для эмоциональной зависимости и чрезвычайных ситуаций, не связанных с самоубийством.
OpenAI также недавно выпустила больше средств контроля для родителей детей, которые используют ChatGPT. Компания заявляет, что она создает систему прогнозирования возраста для автоматического обнаружения детей с помощью ChatGPT и накладывает более строгий набор мер предосторожности.
Тем не менее, неясно, насколько устойчивыми будут проблемы с психическим здоровьем вокруг ChatGPT. Хотя GPT-5, похоже, является улучшением по сравнению с предыдущими моделями ИИ с точки зрения безопасности, все еще, похоже, есть кусочек ответов ChatGPT, которые OpenAI считает «нежелательными». OpenAI также по-прежнему делает свои старые и менее безопасные модели ИИ, включая GPT-4o, доступными для миллионов своих платных подписчиков.
Если вам или кому-то из ваших знакомых нужна помощь, позвоните по телефону 1-800-273-8255 для ** Национальной линии по предотвращению самоубийств. Вы также можете бесплатно написать HOME to 741-741; текст 988; или получить 24-часовую поддержку от Кризисной текстовой линии*.
