В основе YandexART 2.0 — новая гибридная архитектура модели, которая сочетает качество работы свёрточной и трансформерной нейросетей. Свёрточная модель выявляет на картинке важные признаки — края, текстуры и формы, но не умеет учитывать длинный контекст. За это отвечает трансформерная.
Разработчики обучали YandexART на «сотнях миллионов» пар картинок и текстовых описаний к ним. Для повышения качества текстов компания использовала собственную VLM-модель: она анализировала изображения и детально описывала, что на них находится. YandexART 2.0 обучили уже на улучшенных данных.
Чтобы нейросеть научилась создавать на изображениях надписи латинскими буквами, «Яндекс» расширил обучающий датасет YandexART 2.0 «несколькими сотнями тысяч» изображений с текстом.
Пользователи могут протестировать обновлённую YandexART в чате с ассистентом «Алисой» при подключённой опции «Про». Промты можно уточнять в режиме диалога. Пользователи «Алисы Про» могут безлимитно создавать изображения в мобильной и десктопной версии в разных форматах.
Для бизнеса YandexART 2.0 доступна на платформе Yandex Cloud, её можно использовать через API. Также с помощью новой версии пользователи уже могут создавать рекламные объявления в «Яндекс Директе».
Сравнение работы YandexART 1.3 и 2.0
Источник: пресс-релиз Яндекса
