Откуда взялся ChatGPT? Какие шаги предпринял OpenAI, чтобы убедиться, что он готов к выпуску? И куда они идут дальше?  

Tazabek — Когда в конце ноября 2022 года OpenAI без лишнего шума запустила ChatGPT, у компании искусственного интеллекта из Сан-Франциско было мало ожиданий, пишет MIT Technology Review.

Конечно, никто внутри OpenAI не был готов к вирусному мегахиту. С тех пор фирма изо всех сил пытается наверстать упущенное и извлечь выгоду из своего успеха.

По словам Сандхини Агарвал, которая работает над политикой в OpenAI, это рассматривалось внутри компании как «предварительный просмотр исследования»: дразня более отточенной версией технологии двухлетней давности и, что более важно, попыткой сгладить некоторые проблемы. своих недостатков путем сбора отзывов общественности. «Мы не хотели преувеличивать это как большое фундаментальное достижение», — говорит Лайам Федус, ученый из OpenAI, работавший над ChatGPT.

Чтобы узнать внутреннюю историю чат-бота — как он был создан, как OpenAI обновлял его с момента выпуска и как его создатели относятся к его успеху, — автор статьи поговорил с четырьмя людьми, которые помогли создать то, что стало одним из самых популярных интернет-приложений когда-либо.

Помимо Агарвала и Федуса, поговорил с Джоном Шульманом, соучредителем OpenAI, и Яном Лейке, руководителем группы согласования OpenAI, которая работает над проблемой заставить ИИ делать то, что от него хотят пользователи (и не более того).

У автора осталось ощущение, что OpenAI все еще ошеломлен успехом своего предварительного исследования, но ухватился за возможность продвинуть эту технологию вперед, наблюдая, как ее используют миллионы людей, и пытаясь исправить самые серьезные проблемы по мере их появления.

С ноября OpenAI уже несколько раз обновлял ChatGPT. Исследователи используют метод, называемый состязательным обучением , чтобы не дать ChatGPT позволить пользователям обманным путем заставить его вести себя плохо (известный как джейлбрейк). В этой работе несколько чат-ботов противопоставляются друг другу: один чат-бот играет роль противника и атакует другого чат-бота, генерируя текст, чтобы заставить его нарушить свои обычные ограничения и выдать нежелательные ответы. Успешные атаки добавляются в обучающие данные ChatGPT в надежде, что он научится их игнорировать.

OpenAI также подписала многомиллиардную сделку с Microsoft и объявила об альянсе с Bain , глобальной консалтинговой фирмой по вопросам управления, которая планирует использовать генеративные модели искусственного интеллекта OpenAI в маркетинговых кампаниях для своих клиентов, включая Coca-Cola. За пределами OpenAI ажиотаж вокруг ChatGPT спровоцировал еще одну золотую лихорадку вокруг больших языковых моделей, в которой участвуют компании и инвесторы со всего мира.

Это много шумихи за три коротких месяца. Откуда взялся ChatGPT? Какие шаги предпринял OpenAI, чтобы убедиться, что он готов к выпуску? И куда они идут дальше?

Ян Лейке: Честно говоря, это было ошеломляюще. Мы были удивлены, и мы пытались наверстать упущенное.

Джон Шульман: Я много проверял Твиттер в первые дни после релиза, и был сумасшедший период, когда лента заполнялась скриншотами ChatGPT. Я ожидал, что он будет интуитивно понятным для людей, и я ожидал, что он приобретет последователей, но я не ожидал, что он достигнет такого уровня массовой популярности.

Сандхини Агарвал: Думаю, для всех нас стало неожиданностью то, как много людей начали его использовать. Мы так много работаем над этими моделями, что забываем, какими удивительными они могут иногда быть для внешнего мира.

Лайам Федус: Мы определенно были удивлены, насколько хорошо это было воспринято. Было так много предыдущих попыток создания универсального чат-бота, что я знал, что шансы против нас. Тем не менее, наша закрытая бета-версия вселила в нас уверенность, что у нас есть что-то, что может действительно понравиться людям.

Ян Лейке: Я хотел бы лучше понять, что движет всем этим — что движет виральностью. Типа, если честно, мы не понимаем. Мы не знаем.

Частично недоумение команды связано с тем, что большая часть технологий внутри ChatGPT не нова. ChatGPT — это доработанная версия GPT-3.5, семейства больших языковых моделей, выпущенных OpenAI за несколько месяцев до появления чат-бота. GPT-3.5 сама по себе является обновленной версией GPT-3 , появившейся в 2020 году. Компания делает эти модели доступными на своем веб-сайте в виде интерфейсов прикладного программирования или API-интерфейсов, которые позволяют другим разработчикам программного обеспечения легко включать модели в свой собственный код.

OpenAI также выпустила предыдущую доработанную версию GPT-3.5 под названием InstructGPT в январе 2022 года. Но ни одна из этих предыдущих версий технологии не была представлена публике.

Лиам Федус: Модель ChatGPT настроена на основе той же языковой модели, что и InstructGPT, и мы использовали аналогичную методологию для ее тонкой настройки. Мы добавили некоторые разговорные данные и немного настроили процесс обучения. Таким образом, мы не хотели преувеличивать это как большое фундаментальное продвижение. Как оказалось, разговорные данные оказали большое положительное влияние на ChatGPT.

Джон Шульман: Исходные технические возможности, оцененные стандартными тестами, на самом деле не сильно различаются между моделями, но ChatGPT более доступен и удобен в использовании.

Ян Лейке: В каком-то смысле вы можете понимать ChatGPT как версию системы искусственного интеллекта, которая у нас уже давно есть. Это не принципиально более мощная модель, чем та, что была у нас раньше. Те же базовые модели были доступны в API почти за год до выхода ChatGPT. С другой стороны, мы сделали его более согласованным с тем, что люди хотят с ним делать. Он разговаривает с вами в диалоге, он легко доступен в интерфейсе чата, он пытается быть полезным. Это удивительный прогресс, и я думаю, что люди это понимают.

Джон Шульман: Это с большей вероятностью указывает на намерение. И пользователи могут получить то, что они хотят, переходя туда и обратно.

ChatGPT обучался очень похоже на InstructGPT, используя технику, называемую обучением с подкреплением на основе отзывов людей (RLHF). Это секретный соус ChatGPT. Основная идея состоит в том, чтобы взять большую языковую модель с тенденцией выдавать все, что захочет, — в данном случае GPT-3.5, — и настроить ее, научив ее тому, какие типы ответов на самом деле предпочитают люди.

Ян Лейке: У нас была большая группа людей, которые читали подсказки и ответы ChatGPT, а затем говорили, предпочтительнее ли один ответ другому. Затем все эти данные были объединены в один тренировочный прогон. Во многом это то же самое, что мы делали с InstructGPT. Вы хотите, чтобы это было полезно, вы хотите, чтобы это было правдиво, вы хотите, чтобы это было — знаете ли — нетоксично. А еще есть вещи, которые специфичны для создания диалога и работы помощником: например, если запрос пользователя не ясен, он должен задавать уточняющие вопросы. Следует также уточнить, что это система ИИ. Он не должен присваивать себе личность, которой у него нет, он не должен заявлять, что обладает способностями, которыми он не обладает, и когда пользователь просит его выполнить задачи, которые он не должен выполнять, он должен написать отказ сообщение.

Сандхини Агарвал: Да, думаю, так и произошло. Был список различных критериев, по которым оценщики-люди должны были ранжировать модель, например, правдивость. Но они также начали отдавать предпочтение вещам, которые считали хорошей практикой, например, не притворяться кем-то, кем вы не являетесь.

Поскольку ChatGPT был построен с использованием тех же методов, которые OpenAI использовал ранее, команда не сделала ничего другого при подготовке к выпуску этой модели для широкой публики. Они чувствовали, что планка, которую они установили для предыдущих моделей, была достаточной.

Сандхини Агарвал: Когда мы готовились к выпуску, мы не думали об этой модели как о совершенно новом риске. GPT-3.5 был в мире, и мы знаем, что он уже достаточно безопасен. И благодаря обучению ChatGPT на человеческих предпочтениях модель просто автоматически научилась отказному поведению, когда она отказывается от многих запросов.

Ян Лейке: Мы провели дополнительную «красную команду» для ChatGPT, когда все в OpenAI сели и попытались сломать модель. И у нас были внешние группы, делающие то же самое. У нас также была программа раннего доступа с доверенными пользователями, которые оставляли отзывы.

Сандхини Агарвал: Мы обнаружили, что он генерировал определенные нежелательные результаты, но все они также генерировались GPT-3.5. Так что с точки зрения риска, в качестве предварительного исследования — потому что это то, чем оно изначально должно было быть — это было нормально.

Джон Шульман: Вы не можете ждать, пока ваша система станет идеальной, чтобы выпустить ее. Мы проводили бета-тестирование более ранних версий в течение нескольких месяцев, и у бета-тестеров остались положительные впечатления от продукта. Больше всего нас беспокоила достоверность, потому что модель любит выдумывать вещи. Но InstructGPT и другие большие языковые модели уже существуют, поэтому мы подумали, что, пока ChatGPT лучше, чем те, с точки зрения фактов и других вопросов безопасности, все должно быть в порядке. Перед запуском мы подтвердили, что модели кажутся немного более реальными и безопасными, чем другие модели, согласно нашим ограниченным оценкам, поэтому мы решили продолжить выпуск.

OpenAI наблюдает за тем, как люди используют ChatGPT с момента его запуска, впервые увидев, как работает большая языковая модель, когда она оказывается в руках десятков миллионов пользователей, которые, возможно, хотят проверить ее пределы и найти ее недостатки. Команда попыталась взять наиболее проблематичные примеры того, что может произвести ChatGPT — от песен о Божьей любви к священникам-насильникам до вредоносного кода, который крадет номера кредитных карт, — и использовать их для обуздания будущих версий модели.

Сандхини Агарвал: У нас есть много дальнейших шагов. Я определенно думаю, что из-за того, что ChatGPT стал вирусным, многие проблемы, о которых мы знали, действительно всплыли и стали критическими — вещи, которые мы хотим решить как можно скорее. Например, мы знаем, что модель все еще очень предвзята. И да, ChatGPT очень хорош в отказе от плохих запросов, но также довольно легко написать подсказки, которые заставят его не отказываться от того, от чего мы хотели отказаться.

За последними событиями следите в Телеграм-канале @tazabek_official

По сообщению сайта Tazabek