На конференции GTC 2019 NVIDIA представила демоверсию нейросети GauGAN, которая умеет превращать схематичные рисунки в фотореалистичные изображения.
Как работает GauGAN?
Модель GauGAN, названная в честь знаменитого художника Поля Гогена, использует генеративно-состязательные нейросети для обработки сегментированных изображений. Генератор создаёт изображение и передаёт его обученному на реальных фотографиях дискриминатору. Он в свою очередь попиксельно подсказывает генератору, что и где исправить.
Проще говоря, принцип работы нейросети похож на разукрашивание раскраски, только вместо детских рисунков она выдаёт красивейшие пейзажи. Её создатели подчёркивают, что она не просто склеивает куски изображений, а генерирует уникальные, как настоящий художник.
Что ещё она умеет?
Помимо прочего, нейросеть умеет имитировать стили различных художников и менять времена суток и года на изображении. Также она генерирует реалистичные отражения на водных поверхностях, вроде прудов и рек.
Пока что GauGAN настроена для работы с пейзажами, но архитектура нейросети позволяет обучить её создавать и урбанистические изображения. Исходный текст доклада в PDF доступен по ссылке.
И зачем она нужна?
GauGAN может пригодиться как архитекторам и градостроителям, так и ландшафтным дизайнерам с разработчиками игр. ИИ, который понимает, как выглядит реальный мир, упростит реализацию их идей и поможет быстро вносить в них изменения.
А попробовать-то можно?
Пока нет, но скоро нейросеть будет доступна на площадке AI Playground.
