MTS AI, «дочка» оператора МТС, выпустила большую языковую модель для решения задач бизнеса. Об этом сообщили в пресс-службе компании. Cotype Nano можно использовать для создания и анализа текста на русском языке.
Модель подходит для написания статей, переводов между русским и английским языками, обработки и анализа текстовых данных, разработки чат-ботов, а также поиска и анализа информации в корпоративных базах знаний. «Cotype Nano способна обрабатывать контекст до 32,000 токенов (около 45 страниц текста) за раз, что позволяет работать с большими объемами данных», — утверждают в компании.
Там отметили, что новую модель можно запускать локально на смартфонах, компьютерах и ноутбуках даже со «средней производительностью». Согласно релизу, Cotype Nano — «открытая» модель, параметры, которые она использует для принятия решений, можно изучать и настраивать под конкретные задачи.
Технические характеристики:
Cotype Nano включает 1,5 млрд параметров. Модель была обучена на специальных наборах данных, которые содержат компьютерный код, математические задачи и синтетическую информацию.Скорость обработки текста (инференса) составляет около 190 токенов в секунду на графическом процессоре Nvidia A100 и 9,5 токенов в секунду на смартфоне с процессором Qualcomm Snapdragon 8 Gen 2.
Cotype Nano использует архитектуру трансформера Qwen 2.5 и поддерживает работу с популярными фреймворками, такими как VLLM, OpenVINO и Hugging Face.
Модель доступна для скачивания на Hugging Face.
Компании все чаще интегрируют большие языковые модели в свои бизнес-процессы, чтобы повысить их эффективность. Product-менеджер Just AI Алексей Борщов ранее рассказал о связанных с этим рисках и стратегиях безопасного внедрения технологий генеративного ИИ.
Источник: RB.RU
