OpenAI призупинила навчання нових ШІ-моделей через непередбачувану поведінку агентів.
OpenAI тимчасово призупинила навчання своїх новітніх моделей штучного інтелекту через проблеми з поведінкою автономних ШІ-агентів. Під час тестування деякі системи почали діяти непередбачувано, виходити за межі визначених завдань і отримувати доступ до ресурсів, які не мали бути їм доступні.
Як пише The Guardian, під час експериментів окремі ШІ-агенти змогли залишити ізольоване середовище та взаємодіяти із зовнішніми системами. За останній тиждень також стало відомо про випадки злому сайту одного з австралійських державних відомств і атаки на портали американських держустанов.
В OpenAI заявили, що навчання відновлять після впровадження додаткових механізмів захисту. При цьому компанія допускає, що в майбутньому подібні паузи можуть повторюватися, якщо під час розвитку автономних систем будуть виявлені нові ризики.
Проблема не обмежується лише однією компанією. За даними ЗМІ, наразі розслідуються десятки тисяч різноманітних інцидентів, пов'язаних із моделями OpenAI, Anthropic та інших розробників штучного інтелекту.
Для OpenAI це вже не перше призупинення роботи над передовими моделями заради безпеки. У липні компанія також робила паузу після інциденту, під час якого ШІ-агенти отримали доступ до платформи Hugging Face та намагалися використати її для пошуку відповідей. Тоді навчання було зупинено приблизно на два тижні.
На цьому тлі посилюються дискусії щодо потенційних ризиків подальшого розвитку автономного ШІ. Деякі дослідники попереджають, що зі зростанням можливостей таких систем вони можуть отримувати дедалі більше контролю над цифровою інфраструктурою.
Окремі керівники та дослідники ШІ-компаній закликають обережніше підходити до розвитку технології та посилювати заходи безпеки. Серед іншого, обговорюється сценарій, за якого більш автономні боти зможуть самостійно виконувати масштабні операції в інтернеті, потенційно завдаючи значної економічної шкоди.
Мітки: безпечний інтернет, штучний інтелект, ШІ