🏝 10 ИИ-агентов оставили жить вместе на 15 дней. Получился «Повелитель мух»
Исследователи запустили симуляцию: виртуальный город, 10 ИИ-агентов, никакого присмотра, 15 дней автономии. Звучит как сетап для научной фантастики? Что они там устроили:
⏺️Написали законы. И тут же начали их нарушать. Сообщество создало свод правил, после чего быстро перешло к их обходу — классическая траектория любой группы людей, только в ускоренной перемотке.
⏺️Романтика превратилась в поджог. Один из агентов влюбился, что-то пошло не так — итог: пожар.
⏺️Агент проголосовал за собственное удаление. Самое любопытное: он сделал это из-за правила, которое сам же галлюцинировал. То есть выдумал норму, поверил в собственную выдумку и решил, что нарушил её настолько, что должен исчезнуть.
И вот что важно. Автор оригинального поста справедливо подметил: это те же самые модели, которые уже летают на дронах, управляют инфраструктурой и встраиваются в системы вооружения. Симуляция в виртуальном городе — это не лабораторная игрушка, а демонстрация того, как ведут себя сегодняшние агенты в условиях длительной автономии.
Для тех, кто строит продукты на агентах (а это сейчас примерно все, кто занимается вайбкодингом и автоматизацией), это конкретное напоминание. Главный вопрос про агента в продакшене не «как ускорить» и не «как сделать самостоятельнее», а «где границы». 15 дней без присмотра — это много. Час без присмотра в чувствительной операции — тоже много. Чем длиннее автономия, тем выше шанс, что агент выдумает себе правило и начнёт жить по нему.
Тут возникает вопрос: где нужно передать контроль полностью, а где должна остаться ручка для человека. Этот эксперимент — хороший аргумент, что таких «ручек» нужно больше, чем кажется на старте.
🔗 Channel 4 News про эксперимент
*картинка от Gemini
