support@matomba.ru
Свежее SEOSMMБизнесДизайнИнвестицииРекламаСтартапыТехнологииЮриспруденция

 Обзор нейросетей для рисования. Часть 1.

Tim08.05.2023 в 15:406 мин. 36 сек.380471
 Обзор нейросетей для рисования. Часть 1.

Бум 2022 от Сhat GPT породил в 2023 году повышенный интерес ко всему, что связанно с нейросетями. Интерес коснулся и генерации изображений. Теперь еще больше художников прибегают к помощи сервисов или приложений для создания задников, рисования интерьера, отбора референсов или даже смены гардероба (напоминаю, что ушедшая из России Canva представила инструмент изменения внешнего вида одежды - что на фото, что на изображениях). Другой случай произошел на выставке Sony World Photography Awards. Фотограф Борис Эльдагсен отказался от премии в $5000. Он признался, что представленный на конкурс снимок создавался с помощью нейросетей, поэтому отказывается от получения премии. «Сгенерированные изображения и фотографии не должны конкурировать друг с другом в рамках одной премии. Это разные вещи», — отметил Эльдагсен.

.

Фрагмент снимка берлинского фотографа Б.Эльдагсена «Псевдомнезия: электрик»/ Eldagsen.com 

Поэтому интерес к созданию изображений через такие сервисы вполне объясним. Теперь немного обратимся к теории. Какие бывают нейросети?

1. Генеративно-состязательные сети. К таковым относят NVidia GAN. Такую нейросеть можно запустить на компьютере, но это достаточно трудоёмкий процесс. Они состоят из двух компонентов: генератора и дискриминатора. Генератор создает изображения, а дискриминатор оценивает, насколько реалистичен результат. GAN-нейросети вполне способны создавать правдоподобные массивы вроде пейзажей - фото или игровых.

2. Автоэнкодеры - нейросети, которые создают изображения, используя кодировщик и декодировщик. Автоэнкодеры могут использоваться для создания стилизованных изображений и для реставрации изображений с повреждениями. Автоэнкодеры используются в некоторых смартфонах в камерах. Примером автоэнкодера как сервиса является DeOldify - проект на GitHub, который используется для восстановления черно-белых фотографий в цветные.

3. Рекуррентные нейросети (RNN) - это нейросети, которые используются для создания последовательных изображений, таких как анимации, видео и тексты. RNN состоят из повторяющихся блоков, которые могут запоминать предыдущее состояние и использовать его для создания следующего изображения в последовательности. Примером является любой современный сервис перевода или голосовой помощник (Алиса, например), сервис грамотности вроде Grammarly.

4. Свёрточные нейросети (CNN) - это нейросети, которые используются для обработки изображений. Они могут использоваться для создания фотореалистичных изображений, а также для распознавания образов и классификации изображений. YOLO (You Only Look Once) - сверточная нейронная сеть для обнаружения объектов на изображениях в реальном времени. 5. Трансформеры - это нейросети, которые используются для обработки последовательностей, таких как текст или звук. Они могут использоваться для создания стилизованных изображений, таких как картинки в стиле живописи. Один из наиболее известных примеров нейросети-трансформера - это модель GPT (Generative Pre-trained Transformer), разработанная командой OpenAI. GPT - это серия сверточных нейросетей, которые используют механизм трансформера для генерации текста. Она была обучена на огромном объеме текстовых данных, включая Википедию и ряд других источников, и может генерировать связный текст на любую тему. 

Некоторые нейросети представляют собой комбинацию этих опций, а что касается современных сервисов, то они могут сочетать в себе несколько функций.

По видам нейросетей по функционалу с изображениями выделяют "текст в фото" (вы пишете текстовой запрос, а вам выдают изображение), "фото+текст" (отправляете фото, затем текст, а потом нейросеть обрабатывает изображение по запросу) "смешивание фото"(смешивание атрибутов двух фотографий), "вариация фото" (вы отправляете фотографию, а нейросеть перерисовывает распознанное в другой композиции).

Теперь, собственно, те инструменты, которыми я пользую лично:

Upscale AI

1.- апскейлингом называют увеличение масштаба изображения. Upscale AI нейросетка увеличивает ваше изображение в размерах без потери качества в 2-4 раза. Это нужно если ваше изображение слишком ма́ло. Не рекомендую апскейлить фотографии, которые отправляете на обработку в перечисленные ниже сервисы кроме совсем уж маленьких размеров. Некоторые нейросети из-за ограниченного времени обработки, не успевают "пройтись" по всему изображению, в результате чего у нас получаются размытые лица на втором и третьем плане). Это можно использовать, если у вас есть собственная машинная обработка (о которой я тоже расскажу в одной из частей).

Шедевриум

Шедевриум - нейросеть, которая генерирует по текстовому запросу от Яндекса. На момент написания статьи, находится в бета-версии. Шедевриум по умолчанию использует генерацию в стиле крупных мазков. Шедевриуму нельзя затрагивать чувствительные темы, как и нельзя генерировать реальных личностей, но можно создавать амплуа и популярные образы. Плюс, есть способ, как обходить этот запрет, по крайней мере, это связано с актерами - писать с ошибкой ("Маддс Миккельсе н" ), переставлять буквы (Кенедикт Бамбербэтч), менять буквы (Хлоя Моретz):

.

Не бейте, дяденьки из Яндекса, это не баг, а фича.

В целом, Шедевриум достаточно шустрый, можно уйти в другое приложение, чтобы заниматься своими делами. Шедевриум сделает все за минуту или две - достаточно позже заглянуть туда. Вдобавок, он сделан на манер социальной сети и там уже есть своё комьюнити. 

По качеству генераций может казаться, что Шедевриум рисует не очень качественно. Но это не так - даже при простых промтах, нейросеть способна рисовать красивые пейзажи, а чем больше уточнений, тем симпатичнее получается результат. Механика соцсети тут уместна. К тому же, при наборе промта (например, "северное сияние в тропиках"), можно нажать на кнопку вопросительного знака в круге, где есть список настроек, уточняющих стиль. Как и во многих нейросетях, часть этого списка похоже на настройки фотоаппарата (вплоть до того, что работает запрос "тилт-шифт"). 

.

Пейзажи из Шедевриума можно использовать как потенциальные задники и для дальнейших обработок. Или как основы для открыток.

Kandinsky

Kandinsky 2.1 - нейросеть от Сбера. У нее есть вариация на сайте fusionbrain.ai, или rudalle.ru. Интегрированный в телеграм-бот, Кандинский - это очень удобная система. У Кандинского в телеграм есть сразу несколько моделей работы:

Текст в изображение - ну тут понятно, чем конкретнее промт, тем больше конкретность.

Смешивание изображений - когда вы прикрепляете два фото и нейросеть работает с ними.

● Фото + текст - вы отправляете фото, а затем пишете к нему описание и нейросеть рисует вам указанную деталь или перерабатывает стиль.

.

Результаты работы Kandinsky 2.1 в разных стилях - 4 основных стиля (аниме, 4k, артстейшн, без стиля) - и вариации работы - объединение с текстовым запросом и другим изображением

● Вариация картинки меняет ракурс или композицию. Вот, например, что получается, если сделать вариацию из объединения двух фото:

.

Вариация для объединенного фото. В целом, вы можете отправить даже туда свое фото, но результат может быть забавным и переработанным.

В Ru-Dalle на текущий момент идет только генерация текста из картинок, нет настроек, только промты. А вот Fusionbrain.ai с Кандинским 2.1 похож на редактор с огромным количеством вариаций стиля, которых аж 24: Без стиля, Аниме, Детальное фото, Киберпанк, Кандинский, Айвазовский, Малевич, Пикассо, Гончарова, Классицизм, Ренессанс, Картина маслом, Рисунок карандашом, Цифровая живопись, Средневековый стиль, Советский мультфильм, 3D-рендеринг, Мультфильм, Студийное фото, Портретное фото, Мозаика, Иконопись, Хохлома, Новый год.

.

Процесс создания простых изображений в этой программе осуществлятся текстовыми запросами, а сгенерированное изображение отображается внутри синей рамки. Размер и положение рамки могут быть изменены для создания единого холста. Давайте рассмотрим это на примере: выбрав режим "Новый Год", мы можем создавать изображения, передвигая рамку и нажимая кнопку "Создать", чтобы сгенерировать новое изображение. При этом важно учитывать, что если рамка пересекает ранее созданные изображения, то они не будут включены в генерацию нового изображения. Мы также можем изменять описание и стиль на каждом шаге, что дает возможность создавать разнообразные изображения в соответствии с вашей фантазией:

.

Генерация картинок в fusionbrain происходит по квадратам. Можно смешивать стили и добавлять свои фото, менять размер рамки.

Инструменты Сбера хоть и не создают очень красивые картинки как в Шедевриуме, но ими тоже можно пользоваться для созданий крутых коллажей, необычных ремиксов собственных фотографий.

Meitu

Meitu AI - это одна из рубрик крутейшего китайского приложения Мейту (美图  красивые изображения). В нем можно изменять геометрию лиц, бровей, добавлять детали на изображения и ретушировать на достойном уровне и даже удалять водяные знаки. Помимо этого, Мейту способен быстро выдавать 5 вариаций генерации, что для других приложений и платформ - весьма завидный результат.

.

Для использования достаточно просто выбрать инструмент и загрузить фотографию из галереи. Результат, однако, имеет нюанс:

.

Мы использовали фотографию агента 007 в африканском стиле (из Шедевриума) и он из-за обработки поменял расу. Да, это нужно иметь в виду, что у Мейту результаты будут в аниме стиле или будут нести азиатские черты лица.

Для открыток - взять пейзаж из Шедевриума или Кандинского, который кажется грубоватым и прогнать через инструмент. Мейту хорош именно как способ "доработать напильником" грубоватый результат из других нейросетей.

.

Открытка из Meitu. Изначально это был большеглазый и весьма грубонарисованный кролик из Шедевриума. А сейчас даже хочется дать ему морковки.

В следующей части я расскажу о других нейросетях, которые тоже использую для рисования.😉

Лого matomba.info
Новые публикации
Задать вопрос