Сбер открыл доступ к своей AI-технологии
В открытом доступе появились базовая и инструктивная версии модели GigaChat Lite, а также мощная модель GigaEmbeddings-instruct, предназначенная для работы на русском языке, согласно информации ruMTEB. Кроме того, обновление коснулось open-source моделей машинного обучения, используемых для распознавания речи и эмоций — GigaAM (Giga Acoustic Model). Это было анонсировано техническим директором GigaChat Федором Минькиным на международной конференции AI Journey.
В новой версии акустических моделей GigaAM улучшены подготовка данных и технологии предобучения базовой модели. Для самой сильной модели GigaAM-RNNT отмечается прирост показателя на 25 процентов по сравнению с предыдущей версией и на 56 процентов выше, чем OpenAI-Whisper-large-v3.
Кроме того, благодаря изменению позиционирования и обновленной линейке моделей GigaAM, осуществляется дообучение и внедрение Flash Attention, что значительно повышает скорость работы на современных видеокартах. Разработчики оптимизировали код, снизили зависимости и подготовили конвертацию в формат ONNX, что позволяет использовать технологии более гибко. Новые модели публикуются с лицензией MIT, что разрешает их коммерческое использование.
Разработчики и бизнес также получили доступ к open-source базовым и инструктивным версиям GigaChat Lite. Эта модель отличается высокой производительностью в своем классе и эффективно решает типовые задачи, где важна скорость. Архитектура Lite 20B MoE (Mixture-of-Experts) содержит 3.3B активных параметров, что обеспечивает ее высокую производительность по сравнению с аналогами.
Еще одна модель, представленная в open-source, — GigaEmbeddings-instruct, которая преобразует текст в его числовое представление (вектор), позволяя кодировать всю информацию, содержащуюся в запросе. Она хорошо подходит для решения задач с применением технологии RAG (Retrieval Augmented Generation) и демонстрирует выдающиеся результаты на бенчмарке ruMTEB.
Среди других мощных языковых моделей, в том числе самой сильной GigaChat MAX, разработка доступна бизнесу через облачный API.
