Как работает генерация изображений по описанию

Генерация по описанию — это способ получить изображение, которого никогда не существовало, из текста. Вы описываете кадр словами, нейросеть рисует его целиком. Никакой камеры, студии и исходных снимков в этом процессе нет.

Что происходит под капотом

Модель обучена на огромном массиве изображений с подписями. Из него она вывела связи между словами и визуальными признаками: что означает «мягкий рассеянный свет», как выглядит «плёночное зерно», чем «поясной портрет» отличается от «в полный рост».

Когда вы даёте описание, модель не ищет похожую картинку в базе. Она начинает со случайного шума и пошагово превращает его в изображение, на каждом шаге сверяясь с вашим текстом. Поэтому два запуска одного и того же запроса дают разные кадры: отправная точка каждый раз новая.

Из этого следует главное практическое правило: описание — это единственный рычаг управления. Всё, чего в нём нет, модель выберет за вас, и выберет по-своему.

Чего генерация по описанию не делает

Здесь важно быть точным, потому что вокруг темы много преувеличений.

Она не рисует конкретного человека. Если вы попросите «портрет женщины тридцати лет в чёрном пиджаке», вы получите женщину тридцати лет в чёрном пиджаке — но не себя, не коллегу и не знакомого. Модель не знает, как вы выглядите, и узнаваемого сходства такой кадр не даёт.

Существует отдельная технология, которая обучает персональную модель на нескольких десятках ваших фотографий и затем подставляет вашу внешность в новые сцены. Это другой процесс, и в описываемом здесь сервисе его нет. Если вам нужно именно своё лицо — работает второй режим, о котором ниже.

Она не гарантирует повторяемость. Один и тот же текст даст похожие по настроению, но разные по деталям кадры.

Она плохо считает и плохо пишет. Кисти рук, мелкий текст на вывесках, симметрия украшений, количество пальцев и пуговиц — слабые места почти всех моделей.

Второй режим: правка готового снимка

Кроме рисования с нуля есть работа поверх существующего изображения. Вы загружаете снимок и описываете, что с ним сделать: убрать фон, восстановить старую фотографию, поменять цвет одежды, расширить кадр по краям.

Здесь исходное лицо сохраняется, потому что модель не выдумывает его, а работает с тем, что есть. Именно этот режим нужен, когда важна достоверность: семейный архив, документальный снимок, рабочий портрет.

Ключ к хорошему результату — явные запреты в запросе. Формулировка вида «не меняй лицо, черты, пропорции и позу» удерживает алгоритм от «улучшений», о которых вы не просили.

Из чего состоит хорошее описание

Практика показывает устойчивую структуру из пяти блоков. Порядок почти не важен, важна полнота.

• Субъект — кто или что в кадре: «мужчина с короткой бородой», «керамическая ваза», «пустая аудитория».
• Внешний вид и одежда — «в льняной рубашке цвета слоновой кости».
• Сцена и фон — «у окна в светлой комнате», «на бетонной стене», «на побережье в пасмурный день».
• Свет — самый недооценённый блок. «Мягкий рисующий свет слева», «жёсткий боковой с глубокими тенями», «контровой на закате».
• Оптика и подача — «крупный план», «малая глубина резкости», «плёночное зерно», «кинематографичная цветокоррекция».

Описание без блока про свет — самая частая причина «пластиковых» кадров. Модель по умолчанию тяготеет к ровному студийному освещению, и именно оно делает результат безликим.

Чем это отличается от фотографии

Съёмка фиксирует то, что было перед объективом. Генерация собирает то, чего не было. Отсюда три следствия, которые стоит принять сразу.

Достоверность. Сгенерированный кадр не является свидетельством. Он не годится туда, где нужен документальный снимок, — от паспорта до журналистской иллюстрации события.

Управляемость. Зато в генерации бесплатно достаётся то, что в съёмке стоит дорого: смена локации, времени суток, гардероба и погоды делается правкой одной фразы.

Цена ошибки. Неудачный кадр не стоит ничего, кроме нескольких секунд. Поэтому рабочая тактика — не пытаться попасть с первого раза, а осознанно менять по одному параметру за подход.

Как это устроено в работе

Типичный цикл выглядит так. Вы берёте готовое описание — например, одно из тех, что лежат под каждым примером в каталоге, — и запускаете как есть. Смотрите, что получилось, и меняете один блок: свет, ракурс или палитру. Запускаете снова. Обычно трёх-четырёх итераций хватает.

Именно поэтому имеет смысл начинать с чужого готового описания, а не с чистого листа. Оно даёт рабочую отправную точку со всеми пятью блоками на месте, и вам остаётся подстроить его под задачу, а не изобретать структуру заново.

Права на результат

Вопрос сложнее, чем кажется, и в разных странах решается по-разному. В российской практике объектом авторского права признаётся результат творческого труда человека; сгенерированное изображение в чистом виде под это определение попадает спорно.

Практический вывод: для внутреннего использования, черновиков, референсов и иллюстраций в собственных материалах генерация подходит без оговорок. Для регистрации товарного знака или обложки коммерческого издания стоит заранее свериться с условиями конкретного сервиса и, при существенных ставках, с юристом.