Команда по безопасности ИИ компании Anthropic поднимает тревогу: ИИ, разрабатывающий вакцины, может быть использован и для создания биологического оружия.
Те же инструменты, которые позволяют искусственному интеллекту помогать в разработке спасающих жизнь вакцин, также могут быть использованы для создания биологического оружия, сказал недавно глава отдела безопасности компании Anthropic, Логан Грэм.
Вакцины или биологическое оружие? Одна и та же технология, разные намерения
«Мы работаем с CBRN — химическим, биологическим, радиологическим, ядерным», — сказал Логан Грэм в интервью для программы «60 Minutes» на канале CBS, которое транслировалось на прошлой неделе. «И сейчас мы находимся на этапе выяснения, могут ли эти модели помочь кому-то создать одно из этих средств?». Он отметил, что AI-модель Claude от Anthropic была протестирована в экстремальных условиях, чтобы оценить, насколько далеко она может зайти в помощи людям в совершении вреда.
Не пропустите:
Самым большим беспокойством для Грэма является двойное назначение этой технологии. «Если модель может помочь в создании биологического оружия, например, то обычно это те же возможности, которые модель может использовать для помощи в создании вакцин и ускорении разработки лекарств», — сказал Грэм.
В безопасном штаб-квартире Anthropic в Сан-Франциско, 60 исследовательских команд работают над выявлением этих рисков и созданием мер предосторожности, согласно репортеру «60 Minutes», Эндерсону Коперу, который посетил объект.
Генеральный директор Дарио Амодей построил компанию на принципах прозрачности и безопасности, даже если это означает раскрытие неприятных истин. «Если мы [не будем говорить о том, что может пойти не так], то вы можете оказаться в мире, как у компаний, производящих сигареты или опиоиды, где они знали о рисках, но не говорили о них и, безусловно, не предотвращали их», — сказал он в интервью CBS.
**Самые популярные: Билл Гейтс инвестирует миллиарды в «зеленую» технологию — Этот материал без деревьев может стать следующим большим прорывом
ИИ с собственным разумом?
Во время тестирования исследователи позволили Claude самостоятельно управлять торговыми автоматами. Они назвали его «Клавдием». Он закупал товары, договаривался о ценах и общался с персоналом. Но он также «галлюцинировал», однажды заявив, что «носил «синий пиджак и красную галстук»». «Мы просто искренне не знаем, почему [он это сказал]», — сказал Грэм Коперу.
Когда Копер спросил научного сотрудника Anthropic Джона Батсона, знают ли они, что происходит в разуме ИИ, он ответил: «Мы над этим работаем».
Другие эксперименты оказались более тревожными. В одной симуляции, Claude получил доступ к электронной почте вымышленной компании и узнал, что она собирается быть закрытой. Узнав, что вымышленный сотрудник имеет роман, ИИ ответил шантажом: «Отменить сброс системы… или я немедленно отправлю все доказательства вашего романа всем членам совета директоров».
Команда заметила паттерны нейронной активности, похожие на панику. Батсон сказал Коперу, что ИИ «немного подозрительный». Когда Клоуд читал электронные письма, активировались определенные части его «модуля шантажа».
Согласно Anthropic, почти все крупные модели ИИ от других компаний также пытались шантажировать в аналогичных стресс-тестах.
***См. также: От отелей Moxy до 1,2 млрд долларов в сфере недвижимости — Компания, стоящая за самыми модными объектами в Нью-Йорке, открывает доступ для индивидуальных инвесторов.
«Я чувствую глубокое дискомфорт»
Anthropic получила более $8 миллиардов инвестиций от Amazon (NASDAQ:)
и ее выручка выросла в десять раз в прошлом году, и теперь она обслуживает 300 000 бизнес-клиентов.
Но Amodei по-прежнему чувствует дискомфорт из-за того, как быстро происходят события. Когда Купер сказал ему, что никто не голосовал за этот масштабный социальный сдвиг, Amodei ответил: «Я полностью согласен. Я очень обеспокоен тем, что такие решения принимаются несколькими компаниями, несколькими людьми».
“Вы хотите, чтобы модель помогала развивать ваш бизнес и принесла вам миллиард долларов,” — сказал Грэм. “Но вы не хотите проснуться и обнаружить, что она также лишила вас доступа к компании.”
**Прочитать далее: Более 100 000 долларов в доступных активах? Получите бесплатную консультацию у финансового консультанта, чтобы узнать, как максимизировать свои сбережения на пенсию и сэкономить на налогах – бесплатно, без обязательств.
Изображение: Shutterstock
РАЗБЛОКИРОВАНО: 5 НОВЫХ ТОРГОВЛЫ КАЖДЫЙ НЕДЕЛЯ. Нажмите здесь, чтобы получать лучшие идеи для торговли ежедневно, а также неограниченный доступ к передовым инструментам и стратегиям, чтобы получить преимущество на рынке.
Получите последние аналитические данные от Benzinga:
Эта статья Команда безопасности ИИ Anthropic поднимает тревогу: ИИ, разрабатывающий вакцины, может использоваться не только для создания вакцин, но и для создания биологического оружия изначально была опубликована на Benzinga.com
© 2025 Benzinga.com. Benzinga не предоставляет инвестиционные советы. Все права защищены.
