DALLE-2 - Замена вашего штатного дизайнера?

Вчера, компанией OpenAI, был отменен их лист ожидания на доступ к нейросети DALLE-2. Нейросеть славится своей фантастической способностью создавать изображение исходя из описания, которое задает пользователь. Чем точнее и подробнее будет описание, тем детальнее получится изображение, при этом DALLE-2 способна визуализировать не только изображения в стиле фотографий, но и иллюстрации, пиксель-арты, 3D-рендеринг, а также многие другие виды изображений.

Еще одной впечатляющей способностью является возможность добавления элементов на уже готовое фото. Предположим, что у вас есть фото девушки, которая держит в руках коробку, но коробка пустая. Вам нужно наполнить коробку какими-то вещами. Вы загружаете фото в нейросеть, задаете место для размещения, а также вводите необходимое описание, и по щелчку мыши получаете результат. Даже если он вас не устроил вы можете заново сгенерировать изображение или отредактировать его через встроенный функционал нейросети.

Наша команда не прошла мимо такого события и поучаствовала в тестировании нейросети DALLE-2, конечно, по большей части мы делали это для веселья, но за это время успели выявить некоторые проблемные места.

Начнем с картинок ради “фана”. Вот, что мы получили по запросу “art illustration of angry developer which bite a keyboard in cyberbunk blue office with sign «ROCONT» on the wall behind of him”:

Как можно заметить на этих иллюстрациях, нейросеть не справилась с названием нашей веб-студии и выдала либо что-то похожее, либо набор букв, хотя в какой-то степени удалось передать фирменный стиль бренда.

Также мы заметили серьезные проблемы с обрисовкой глаз, это подтверждают не только иллюстрации выше, но и следующие сгенерированные изображения по запросу “sad woman leaves in a bus with rainy weather behind the glass”:

Здесь мы видим довольно реалистичное изображение, но с глазами есть явная недоработка. На всех изображениях, что нам удалось создать, глаза либо как у зомби, либо смотрят в разные стороны, либо просто плывут по всему лицу. Это касается и неодушевлённых предметов, если попросить нейросеть добавить им лицо.

На данном этапе, нейросеть, скорее всего не сможет полностью заменить профессионального дизайнера, но по некоторым параметрам она со своими задачами справляется просто отлично! Например, с такой иллюстрацией кота в костюме Дарта Вейдера, летящего в космосе над Землей:

А вы бы использовали такой инструмент для работы с изображениями?