Откуда ИИ знает то, что никто ему не говорил
Редактор журнала Scientific American Джордж Массер — о том, почему модели ИИ, обученные повторять, как попугаи, тексты из интернета, оказываются способны решать совершенно новые для них и весьма продвинутые задачи.
Чтобы понять, как нейронная сеть кодирует информацию, они применили метод, разработанный в 2016 году Йошуа Бенджио и Гийомом Аленом из Монреальского университета. Команда создала миниатюрную «зондовую» сеть, которая анализировала основную сеть слой за слоем. Ли сравнивает этот подход с методами нейробиологии. «Это как поместить исследовательский зонд в человеческий мозг», — говорит он. В случае с ИИ исследование показало, что хотя систему учили прогнозировать только следующий ход, ее «нейронная активность» простиралась на все игровое поле, представленное, правда, в несколько искаженной форме. Чтобы убедиться в этом, исследователи нарушали ход игры, внедряя информацию в сеть, — например, переворачивали одну из черных фишек белой стороной вверх. И сеть соответствующим образом корректировала свои действия. «По сути, мы взламывали мозг этих языковых моделей», — говорит Ли. Исследователи пришли к выводу, что ИИ играл, в общем, как человек: держал игровое поле перед «мысленным взором» и использовал его образ для выбора следующего хода. По мнению Ли, система вырабатывает такой навык потому, что это самая экономичная форма для обучающих данных. «При наличии большого количества игровых сценариев лучший способ сжать их — постараться найти общее правило, которое лежит в их основе», — добавляет Ли.
Эта способность делать выводы о структуре внешнего мира касается не только расположения фишек в играх; она также проявляется в диалогах. Группа исследователей из Массачусетского технологического института изучала сети, играющие в текстовые приключенческие игры. Вводились такие предложения, как «Ключ в сундуке с сокровищами», «Вы берете ключ». С помощью зонда было установлено, что сети кодировали внутри себя переменные, соответствующие словам «сундук» и «вы», каждая из которых имела свойство обладать или не обладать ключом, и корректировали эти переменные с каждым новым предложением. У системы не было возможностей узнать, что такое сундук или ключ, но она уяснила концепции, необходимые для выполнения задачи. «Внутри модели имеется некоторое представление о состоянии», — говорит Белинда Ли из группы исследователей.
