Размер шрифта:
Изображения:
Цвет:
25 ноября 2022,  18:04
 455

Сбер представил первую российскую диффузионную модель для генерации изображений по тексту

Сбер представил первую российскую диффузионную модель для генерации изображений по текстуФото: предоставлено Сбербанком
  • Новость
  • Новость

Первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров Kandinsky 2.0 банк представил на международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар «текст – изображение». Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.

FusionBrain.ai – открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект) от Института AIRI, который Сбер решил поддержать, первым выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.

В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).

 

Сбер представил первую российскую диффузионную модель для генерации изображений по тексту - Изображение Фото: предоставлено Сбербанком

 

Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках. 

На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки).

Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос «национальное блюдо» на русском языке, нейросеть чаще всего рисует щи, а на японском это будет мисо-суп и суши.

«Kandinsky 2.0, который пришёл на смену первой версии модели, – прорыв в этой сфере. Модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди», – отметил первый зампредседателя правления Сбербанка Александр Ведяхин.

Ваш браузер устарел!

Обновите ваш браузер для правильного отображения этого сайта. Обновить мой браузер

×