«Яндекс» выложил в открытый доступ модель семейства нейросетей YandexGPT

«Яндекс» опубликовал в открытом доступе YandexGPT 5 Lite Pretrain — большую языковую модель (LLM) на 8 млрд параметров с поддержкой контекста в 32 тыс. токенов. Новая модель превосходит по качеству ответов зарубежные аналоги в большинстве бенчмарков, отмечают в компании. Она будет полезна разработчикам и представителям бизнеса, которые смогут дообучить её под свои задачи и не тратить время на создание собственной базовой модели.

Pretrain-версия модели уже имеет обширные знания о мире, понимает контекст и закономерности языка. Её обучали с помощью технологий «Яндекса» в два этапа. На первом этапе модель обучали на русскоязычных и англоязычных текстах, коде, вычислениях и других данных общим объёмом 15 трлн токенов — это как 2,5 млрд веб-страниц. На втором этапе использовались высококачественные данные объёмом 320 млрд токенов, в том числе тексты образовательной тематики. Для обогащения знаний модели «Яндекс» улучшил метод отбора данных, чтобы использовать больше полезных текстовых материалов из интернета, не теряя в их качестве.

Базовую (Pretrain) версию модели можно адаптировать под любые нужды. Она имеет максимально широкое применение и может быть использована в разработке, бизнесе и научных исследованиях. Кроме того, благодаря своей компактности YandexGPT 5 Lite Pretrain не требует больших вычислительных мощностей и будет полезна тем, кому нужна небольшая русскоязычная модель.

По сравнению с моделью предыдущего поколения YandexGPT 4 Lite Pretrain новая модель показывает значительный рост качества в решении математических задач и написании кода. А в сравнении с аналогичными зарубежными моделями, такими как LLaMa3.1-8B и Qwen-2.5-7B-base, YandexGPT 5 Lite Pretrain лидирует почти во всех типах задач.

Последний раз Яндекс выкладывал в открытый доступ большую языковую модель в 2022 г. — это была YaLM-100B. Сейчас разработчикам доступно более 120 открытых технологий «Яндекса» в этой сфере. В частности, компания продолжала делиться инструментами для работы с LLM — такими как библиотека YaFSDP, ускоряющая обучение больших языковых моделей до 25%.

YandexGPT 5 Lite Pretrain входит в новое поколение нейросетей «Яндекса» — YandexGPT 5 — и доступна бесплатно на HuggingFace. Вторая модель семейства, YandexGPT 5 Pro, доступна представителям бизнеса на облачной платформе Yandex Cloud, а пользователям — в чате с «Алисой». Это новейшая и самая мощная модель компании, прошедшая все этапы обучения.

Для обучения YandexGPT 5 Pro «Яндекс» добавил в датасет больше сложных и разнообразных примеров, усложнил задания, добавил методы обучения с подкреплением DPO (Direct Preference Optimization) и PPO (Proximal Policy Optimization), а также свою модификацию — LogDPO, повышающую стабильность обучения модели. Сам процесс обучения компания оптимизировала при помощи библиотеки YaFSDP, что позволило снизить потребность в вычислительных ресурсах на 25%.