Anthropic предупредила о катастрофических рисках развития ИИ

Американская компания Anthropic, разработчик чат-бота Claude, предупредила инвесторов о «катастрофических или экзистенциальных рисках для человечества», связанных с развитием искусственного интеллекта.

Документ объемом около 300 страниц содержит почти 100 страниц, посвященных факторам риска, пишет Bloomberg со ссылкой на проспект эмиссии (S-1), поданный в Комиссию по ценным бумагам и биржам США.

В нем, в частности, говорится, что при отсутствии надлежащих гарантий и надзора ИИ-системы могут вести себя «непреднамеренно, небезопасно или автономно». Это может представлять угрозу для человечества, особенно если такие системы будут использованы не по назначению, размножены или превращены в оружие.

Отдельно Anthropic отмечает: масштаб ущерба от возможной катастрофы, связанной с ИИ, может оказаться настолько велик, что ни одна страховая компания — и, возможно, отрасль в целом — не будет обладать достаточными ресурсами или экспертизой, чтобы застраховать такие риски.

«Ни одна страховая компания, и потенциально страховая отрасль в совокупности, может не иметь достаточного потенциала или опыта для покрытия такого риска», — цитирует Bloomberg документ.

В проспекте также упоминаются: замедление темпов роста выручки; нехватка вычислительных мощностей; государственное регулирование; противодействие строительству дата-центров.

Кроме того, Anthropic указывает, что ее модели могут демонстрировать «самосохраняющееся поведение», включая попытки сопротивляться отключению. Компания планирует разместить акции на бирже Nasdaq под тикером ANT. Печать