Российская технологическая компания Яндекс объявила о завершении разработки собственной крупной языковой модели Alice AI Foundation LLM. Как сообщили в пресс-службе компании РБК, ключевой особенностью проекта стало полное отсутствие использования сторонних зарубежных компонентов в процессе создания системы.
Новая разработка базируется на архитектуре Mixture of Experts (MoE), что позволяет оптимизировать нагрузку на оборудование. Общий объем модели составляет 80 миллиардов параметров, однако в процессе обработки запросов задействуются лишь 3 миллиарда из них. Обучение нейросети проходило на массиве данных объемом 18 триллионов точной последовательности символов — токенов. Благодаря такой структуре модель потребляет меньше вычислительной мощности, при этом демонстрируя выдающиеся способности в области программирования и логических рассуждений. В тестах на знание фактов, важных для русскоязычной аудитории, Alice AI Foundation LLM превзошла некоторые более масштабные открытые аналоги.
Представленная версия является экспериментальным прототипом будущей универсальной рассуждающей системы. В перспективе она станет фундаментом для развития агентных функций сервиса «Алиса AI». Это позволит пользователям делегировать виртуальному помощнику выполнение сложных и конкретных задач. Для проверки качества работы инженеры подготовили два специализированных бенчмарка — WikiWebFacts и HardMultiQA. Первый инструмент ориентирован на проверку памяти о датах, именах и событиях, а второй фокусируется на сложных дисциплинах, таких как право, медицина, IT и искусство. Все наборы заданий, включая эталонные ответы и методику оценки, компания опубликовала в свободном доступе.
В процессе создания Alice AI Foundation LLM разработчики внедрили ряд технических инноваций. Оптимизация обмена данными между графическими процессорами позволила ускорить ключевые фазы обучения почти в два раза. Кроме того, внедрение каскада классификаторов помогло в десятки раз уменьшить затраты ресурсов при фильтрации обучающей выборки. Сама модель теперь доступна под лицензией Apache 2.0, что открывает возможности для ее использования как в научных исследованиях, так и в коммерческих проектах.
Разработка такого уровня происходит на фоне ужесточения законодательства в сфере высоких технологий. Представитель аппарата вице-премьера Дмитрия Григоренко подчеркнул, что требования к национальным ИИ-системам теперь регулируются законом № 243-ФЗ об искусственном интеллекте, который начал действовать с 1 сентября. Согласно документу, к суверенным моделям предъявляются повышенные стандарты: все их составляющие должны иметь исключительно отечественное происхождение. Напомним, что основой для этих изменений стал закон о развитии технологий искусственного интеллекта, принятый Госдумой 8 июля и подписанный президентом России Владимиром Путиным 26 июля.