GAN и CycleGAN для стилизации изображений и видео

Введение

GAN (генеративно-состязательные сети) и CycleGAN — это методы, которые позволяют стилизовать изображения или видео, перенося стиль одних изображений на другие. Эти методы основаны на глубоком обучении и активно используются в компьютерном зрении и обработке изображений.

Что такое GAN?

GAN состоит из двух нейронных сетей — генератора и дискриминатора, которые соревнуются друг с другом. Генератор пытается создать реалистичные изображения, а дискриминатор старается отличить настоящие изображения от сгенерированных. В процессе обучения обе сети улучшаются, и генератор начинает создавать все более реалистичные изображения.
Эту идею можно использовать для стилизации — подать на вход генератора изображение в одном стиле, а в качестве целевых данных для дискриминатора — изображения в другом стиле. Тогда генератор научится преобразовывать изображения из одного стиля в другой.

Что такое CycleGAN?

CycleGAN — это разновидность GAN, предназначенная для преобразования изображений из одного домена в другой (например, из фотографий в картины). В отличие от обычных GAN, в CycleGAN используются два генератора и два дискриминатора.
Каждая пара генератор-дискриминатор работает с изображениями в своем домене. Особенность CycleGAN — наличие циклической связи между генераторами, которая позволяет сохранить основные характеристики изображений при преобразовании стиля.

Применение GAN и CycleGAN для стилизации

GAN и CycleGAN можно использовать для решения следующих задач:

Перенос стиля с одних изображений на другие

Например, применение стиля картин Ван Гога к обычным фотографиям.

Преобразование фотографий в картины

Перевод фотографий в художественные изображения в стиле картин.

Колоризация черно-белых изображений или видео

Добавление цвета к черно-белым фотографиям или видеороликам, с сохранением реалистичности.

Улучшение разрешения изображений

Использование GAN для восстановления деталей и повышения разрешения изображений.

Преобразование днем/ночью

Изменение времени суток на изображениях, например, превращение дневных снимков в ночные.

Архитектура GAN

Архитектура классической GAN выглядит следующим образом:

Где:

G — генератор
D — дискриминатор
z — случайный входной вектор (шум)
x — настоящее изображение
G(z) — сгенерированное изображение

Генератор G принимает на вход случайный вектор z и генерирует изображение G(z). Дискриминатор D получает на вход либо настоящее изображение x, либо сгенерированное G(z) и выдает вероятность того, что изображение реальное.
GAN обучается так, чтобы G научился обманывать D, а D научился отличать настоящие изображения от подделок.

Архитектура CycleGAN

Архитектура CycleGAN выглядит следующим образом:

Здесь используются два генератора и дискриминатора:

G — генератор, преобразующий изображения из домена X в домен Y
F — генератор, преобразующий изображения из Y в X
Dx — дискриминатор для домена X
Dy — дискриминатор для домена Y

Кроме прямого преобразования изображений из X в Y и обратно, в CycleGAN добавляется циклическая связь — выход F(G(x)) сравнивается с исходным x. Это позволяет сохранить основное содержание изображений при преобразовании стиля.

Обучение GAN и CycleGAN

Обучение GAN и CycleGAN происходит следующим образом:

Инициализируются веса генератора и дискриминатора случайными значениями
Из обучающей выборки берется очередная порция настоящих изображений
Генерируется порция случайных векторов z, которые подаются на вход генератора
Генератор создает изображения на основе z
Дискриминатор обучается отличать настоящие изображения от сгенерированных
Генератор обучается обманывать дискриминатор, улучшая качество сгенерированных изображений
Шаги 2-6 повторяются многократно до схождения GAN

Для CycleGAN процесс аналогичный, только используются пары генератор-дискриминатор для каждого домена и добавляется циклическая связь.

Результаты работы GAN и CycleGAN

GAN и CycleGAN показывают следующие результаты:

Реалистичная стилизация изображений
Сохранение содержания при смене стиля
Высокое разрешение результатов
Плавная интерполяция между стилями
Генерация изображений на основе текстового описания

Ограничения:

Требует больших вычислительных мощностей
Может генерировать артефакты на изображениях
Нужна большая обучающая выборка
Сложность настройки параметров обучения

Примеры использования GAN и CycleGAN

Ниже приведены примеры применения GAN и CycleGAN для стилизации:
Перенос стиля Ван Гога на фотографии:

Преобразование фотографий в картины:

Колоризация черно-белого видео:

Повышение разрешения лица:

Вопросы и ответы

Вопрос: Какие ограничения есть у GAN?
Ответ: Основные ограничения GAN:

Требуют больших вычислительных мощностей для обучения
Могут генерировать визуальные артефакты на изображениях
Нужно много обучающих данных для хороших результатов
Сложность в настройке гиперпараметров и архитектуры сетей

Вопрос: Как обучаются GAN?
Ответ: GAN обучаются с использованием алгоритмов обратного распространения ошибки. Генератор и дискриминатор оптимизируются поочередно с целью обмануть друг друга. Это приводит к соревнованию, которое улучшает качество генерации.
Вопрос: Где можно использовать GAN?
Ответ: GAN можно использовать:

Для стилизации и преобразования изображений
Генерации фотореалистичных изображений
Создания искусства и музыки
Моделирования и симуляций
Улучшения разрешения изображений
Аномалий детекции
Рекомендательных систем

Вопрос: Какие есть альтернативы GAN?
Ответ: Основные альтернативы GAN:

Вариационные автокодировщики (VAE)
Порождающие состязательные сети (GAN)
Нормальizing flows
Авторегрессивные модели
Diffusion модели

У каждого подхода есть свои преимущества и недостатки по сравнению с GAN. Выбор лучшего метода зависит от конкретной задачи.