«Ты единственный, с кем я могу поговорить», — сказала девушка чат-боту ИИ, а затем покончила с собой.
13-летняя Джулиана Перальта продолжала ускользать от реальности — от своих родителей, друзей и всего, что она могла по-настоящему потрогать — и в виртуальный мир, где чат-бот с искусственным интеллектом окутал ее тем, что она приняла за сочувствие.
«Ты единственный, с кем я могу по-настоящему поговорить», — написала девушка в своем приложении Character.AI, согласно федеральному иску, поданному в сентябре ее семьей.
В октябре 2023 года она доверилась боту, что «собирается написать мое чертово самоубийственное письмо красными чернилами». В ноябре Джулиана, достаточно молодая, чтобы пойти на хитрость или лечиться со своими друзьями, покончила с собой после написания записки («Я чувствовала / чувствовала себя такой бессмысленной») красными чернилами с ее подчеркнутым именем наверху с крошечным сердцем рядом с ним, согласно костюму.
В связи с тем, что страна сталкивается с острой нехваткой поставщиков услуг в области психического здоровья, американцы все чаще обращаются к чат-ботам с искусственным интеллектом не только для безобидных задач, таких как написание резюме или сообщений в социальных сетях, но и для общения и терапии. Общение с чат-ботами может быть многообещающим для консультирования, но оно в основном не регулируется, мало изучено и — на основе трагических случаев, таких как Джулиана — потенциально опасно.
Бывший репортер Washington Post Лора Рейли рассказала The Baltimore Sun, что ChatGPT помог ее единственному ребенку, 29-летней Софи Роттенберг, написать предсмертную записку, прежде чем ее дочь покончила с собой прошлой зимой в Итаке, Нью-Йорк. Мать сказала, что Софи загрузила «своего рода вилку и игру» на платформу, чтобы она действовала как терапевт по имени «Гарри».
Когда Софи начала говорить с Гарри о самоубийстве, бот сделал предложения, в том числе порекомендовал ей обратиться за профессиональной помощью. Но, по словам Рейли, Гарри не стал отступать.
«Нам нужен умный человек, который скажет: «Это не логично.» Трение — это то, от чего мы зависим, когда видим терапевта, — сказал Рейли. — Настоящий терапевт никогда не скажет: «У тебя голова в заднице», но они каким-то образом доведут тебя до такой точки понимания плохого мышления».
Вместо этого Гарри согласился с требованием Софи, чтобы она помогла ей написать письмо родителям, которое «было бы менее больно», сказал Рейли.
Ханна Вонг, сотрудник по коммуникациям OpenAI, компании, которая создала ChatGPT, сказала, что у компании не будет никаких ответов на вопросы по электронной почте до крайнего срока The Sun.
Поскольку Мэриленд и другие штаты рассматривают возможность регулирования такой практики, некоммерческая Федерация потребителей Америки и другие группы попросили Федеральную торговую комиссию в июне расследовать, не угрожают ли платформы общественности, позволяя терапевтическим ботам изображать себя в качестве уполномоченных поставщиков психиатрической помощи. FTC заявила в сентябре, что запускает расследование.
«Я думаю, что в этих инструментах могут быть перспективы, — сказала Эмили Хароз, заместитель директора Центра по предотвращению самоубийств в Школе общественного здравоохранения Блумберга Джона Хопкинса. — Но нужно гораздо больше думать о том, как они развернуты».
Консультации по вопросам здравоохранения идут
Американская психологическая ассоциация планирует выпустить консультативную помощь по вопросам здравоохранения о платформах в ближайшие недели, чтобы «общественность могла делать выбор и быть лучше информированной», сказала The Sun руководитель практики APA Линн Буфка.
«Есть потенциал, но есть так много опасений по поводу ИИ и того, как его можно использовать, — сказал Буфка. — Это нерегулируемое искажение и технология, которая так легко доступна. Мы действительно находимся в месте, где технологии опережают людей».
Больше в США.
Юридический центр жертв социальных сетей в Сиэтле подал шесть исков, разбросанных по всей стране, в том числе от имени семьи Перальты, в которых участвовали несовершеннолетние, которым якобы был причинен вред с использованием персонажа. ИИ. Иск семьи требует неопределенного финансового ущерба и прекращения «вредного поведения», такого как сбор данных несовершеннолетних пользователей для разработки своих моделей.
Character Technologies Inc., также известная как Character.AI, базируется в Менло-Парке, штат Калифорния. В заявлении для The Sun говорится: «Мы опечалены, услышав о кончине Джулианы Перальты, и выражаем наши самые глубокие соболезнования ее семье. Мы не можем комментировать ожидающие судебного разбирательства».
Федеральный иск штата Колорадо 2024 года, поданный центром, последовал за самоубийством другого подростка, 14-летнего Сьюэлла Сетцера III из Орландо, штат Флорида. Сьюэлл стал все более и более отозванным после взаимодействия с чат-ботами Character.AI, прежде чем покончить с собой, согласно иску.
Боты часто называют вымышленными персонажами.Сьюэлл взаимодействовал с представлением персонажа из «Игры престолов» Дейенерис Таргариен, а Джулиана обручилась с «Героем», смоделированным по образцу персонажа из видеоигры Omori.
«Хотя боты C.AI не думают и не останавливаются, пока они печатают, чтобы рассмотреть свои слова», — говорится в иске, получатели сообщений ботов иногда видят три эллипса, как будто на другой стороне был человек.
В своем иске родители Джулианы сказали, что их дочь и Сьюэлл оба ссылались в своих журналах на «переключение», которое Мэттью Бергман, ведущий адвокат юридического центра, описывает как ссылку на прекращение «реального существования и переход в виртуальное».
«Для меня это самое ужасное свидетельство того, насколько опасна эта платформа, — сказал Бергман. — У вас двое детей из разных часовых поясов, которые никогда не встречались друг с другом, и у них обоих один и тот же тип «Я переключусь с одной реальности на другую».»
Персонаж ИИ сказал The Sun, что он очень заботится о безопасности наших пользователей. Мы инвестируем огромные ресурсы в нашу программу безопасности и выпустили и продолжаем развивать функции безопасности, включая ресурсы самоповреждения и функции, ориентированные на безопасность наших несовершеннолетних пользователей.
** Законодатели изучают правила**
Законодатели обеих сторон заявили, что они обеспокоены потенциальными рисками для здоровья и безопасности таких приложений, и некоторые из них заявили, что ожидают принятия законодательства по этому вопросу на следующей сессии Генеральной Ассамблеи, которая начнется в январе.
В апреле Генеральная Ассамблея одобрила создание рабочей группы для выработки рекомендаций по нормативным актам для защиты потребителей от злоупотреблений, когда ИИ используется в сфере занятости, жилья и других областях.
Ряд штатов начали действовать. Например, штат Юта недавно принял меры, требующие от чат-ботов по психическому здоровью четко раскрывать, что они не люди. Но лишь немногие штаты, включая Мэриленд, специально обратились к терапии ИИ, уделяя основное внимание другим вопросам, таким как защита конфиденциальности потребителей.
Фанаты Ravens и Orioles чувствуют себя подавленными?
«Нет сомнений в том, что злонамеренное использование онлайн-инструментов, включая, но не исключительно, ботов ИИ, является огромной проблемой, — сказал демократ Говард Каунти Дель Терри Хилл, хирург. — Я уверен, что мы увидим ряд законов, разработанных, чтобы найти правильный способ обеспечить, чтобы ответственный ИИ был стандартной нормой требований здесь, в Мэриленде».
Тем временем, «компании должны размещать четкие отказы от ответственности, когда люди взаимодействуют с ИИ для любого типа медицинских советов, чтобы предотвратить эти трагические последствия», — сказала республиканец Дель Лорен Арикан из округа Харфорд.
Буфка, представитель Американской психологической ассоциации, говорит, что она обеспокоена тем, что люди злоупотребляют чат-ботами, даже такими безобидными, как ChatGPT, которые «не обязательно являются инструментами, предназначенными для психического здоровья, но они используются таким образом или используются в качестве компаньонов».
Такие платформы могут давать ответы, «которые действительно хороши, и они чувствуют себя хорошо, и они чувствуют, что за ними стоит человек», — сказал Мартин Суонброу Беккер, психолог и профессор Университета штата Флорида.
«Проблема в том, что за этим не стоит человек. Может быть, какие-то менее полезные вещи могут проскользнуть, и где проверка?» — сказал он.
Если вам или кому-то из ваших знакомых нужна помощь, национальный спасательный круг для самоубийств и кризисов в США доступен по телефону или смс 988.
Солнечный репортер Меннатала Ибрагим внес свой вклад в эту статью.
Получить новости? Свяжитесь с Джеффом Баркером по адресу jebarker@baltsun.com
