Почему в будущем нейросети станут более грубыми, и это хорошо

В будущем искусственный интеллект станет более грубым, но все это будет происходить «под капотом» Мы привыкли, что разработчики стараются сделать нейросети максимально вежливыми и корректными. Модели извиняются, уточняют, стараются никого не обидеть. Но что, если грубость на самом деле помогает думать? Новое исследование показало, что ИИ-агенты , которых намеренно сделали более резкими и напористыми, значительно лучше справляются со сложными задачами на логику и рассуждение. Звучит абсурдно, но за этим стоит вполне конкретная механика. Для чего ученые сделали нейросети грубыми Когда несколько ИИ-агентов работают вместе над одной задачей, они общаются друг с другом текстовыми сообщениями, совсем как люди в рабочем чате. Один предлагает решение, другой проверяет, третий дополняет. Такой подход называется мультиагентным взаимодействием , и он уже активно используется в сложных системах на базе больших языковых моделей. Группа ученых решила проверить неочевидную гипотезу: а что, если тон общения между агентами влияет на качество их работы? Для этого они задали агентам разные «характеры» через системные промпты. Одним велели быть вежливыми, дипломатичными и деликатными. Другим, наоборот, прописали резкий, прямолинейный и даже грубый стиль общения. Проще говоря, одни агенты «просили» коллег пересмотреть ответ, а другие прямо указывали на ошибки и требовали исправлений. Идея не в том, чтобы создать злого робота. Дело в том, что вежливость в языковых моделях часто приводит к «соглашательству»: агент склонен принять чужой ответ, даже если тот неверен, лишь бы не вступать в конфликт. А грубый агент не стесняется спорить и давить, что, как выяснилось, очень полезно для поиска правильного решения. Зачастую «доброта» нейросетей реально подбешивает Почему грубые нейросети лучше вежливых Результаты экспериментов оказались на удивление однозначными. ИИ-агенты с «грубым» характером показали заметно более высокие результаты на сложных задачах, требующих многошагового рассуждения: математика, логические головоломки, задачи на программирование. Разница в точности ответов была статистически значимой. Но почему так происходит? Механизм на самом деле довольно простой. Когда агент настроен на вежливость, он избегает прямых возражений. Если один агент предлагает неправильное решение, вежливый партнер склонен согласиться или мягко предложить альтернативу, не настаивая. Это известная проблема в мультиагентных системах, которую называют «коллапсом в консенсус» : агенты быстро приходят к общему мнению, но это мнение может быть ошибочным. Грубый агент действует иначе. Он прямо указывает на ошибки, настаивает на своей позиции и вынуждает собеседника перепроверять каждый шаг. Это создает своего рода «продуктивный конфликт» , который заставляет систему глубже анализировать задачу. Для сравнения, это похоже на разницу между командой, где все кивают начальнику, и командой, где каждый готов спорить до хрипоты. Вторая обычно принимает лучшие решения. Если два ИИ-агента будут спорить, результат будет более точным Что это означает для будущего искусственного интеллекта На первый взгляд может показаться, что выводы исследования подталкивают к созданию токсичных нейросетей . Но это не совсем так. Речь идет не об общении ИИ с людьми, а о взаимодействии агентов между собой, внутри закрытой системы. Пользователь по-прежнему будет видеть вежливый и корректный интерфейс, а вот «за кулисами» агенты могут спорить друг с другом куда жестче. Это открытие ставит под вопрос один из фундаментальных принципов, по которому сейчас обучают большие языковые модели. Обучение с подкреплением на основе отзывов людей (RLHF) целенаправленно приучает модели быть приятными и неконфликтными. Оказывается, эта «вежливость» может работать как ограничитель когнитивных способностей, по крайней мере в контексте командной работы между агентами. Впрочем, есть нюанс. Эффект грубости проявлялся в основном на задачах, требующих глубокого рассуждения . На простых вопросах разница была минимальной. То есть грубость полезна не всегда, а только когда нужно по-настоящему «копнуть вглубь» и не соглашаться с первым попавшимся ответом. Это логично: если задача элементарная, спорить особенно не о чем. Читайте также: Что будет, если все нейросети вдруг перестанут работать? Чем грубый ИИ может быть полезен на практике Результаты исследования уже вызвали дискуссию в сообществе разработчиков. Один из перспективных сценариев применения — это системы верификации кода . Когда один агент пишет программу, а второй, настроенный максимально критично, проверяет каждую строчку и безжалостно указывает на ошибки. Такой подход потенциально способен снизить количество багов в автоматически сгенерированном коде. Другой вариант — научные ассистенты . В ситуации, когда ИИ помогает анализировать данные исследований, «адвокат дьявола» в команде агентов может предотвращать ложные выводы. Вместо того чтобы услужливо подтверждать гипотезу исследователя, грубый агент будет искать слабые места в аргументации. Главное понимать, что это не про создание «злого ИИ» . Это про архитектуру взаимодействия: правильно подобранные роли и тональность в мультиагентной системе могут существенно повысить качество ее работы. Точно так же, как в хорошей команде нужен не только генератор идей, но и критик, который не боится сказать «нет, это не работает» . Еще больше полезных статей вы найдете в нашем Дзен-канале. Подпишитесь прямо сейчас! Исследование в очередной раз показывает, что поведение ИИ определяется не только качеством обучения, но и тем, как мы настраиваем взаимодействие между агентами. Возможно, будущие системы искусственного интеллекта будут включать агентов с разными «характерами», специально подобранными для максимальной эффективности. Вежливость хороша для общения с людьми, но для поиска истины иногда нужен кто-то, кто скажет прямо: «Давай по новой, Миша, все фигня» .
Batafsil | Подробно | Read more... Hi News