Сoлнeчнaя пoгoдa в Кaлифoрнии прeкрaснo пoдxoдит для oбучeния aвтoмoбильныx aвтoпилoтoв, нo eсть и минусы — oбкaтaннoй в этиx услoвияx мaшинe куда сложнее осуществлять навигацию при плохой погоде. Не говоря уже о том, что есть страны, где снег и дождь — обыденность. Исследователи из команды NVIDIA предлагают решение: они опубликовали ИИ-алгоритм, который позволяет компьютеру представлять улицы в ярком солнечном освещении, даже если вокруг сугробы, слякоть, дождь или непроглядная тьма. Это важно для самоуправляемых автомобилей, но метод может оказаться полезен и в других областях.
Преобразование последовательности зимних изображений в летние
Исследование основано на методе ИИ, который особенно хорош в формировании визуальных данных: генеративно-состязательной сети (GAN). Она построена на комбинации из двух нейронных сетей, одна из которых генерирует образцы, а другая отклоняет неточные по её мнению. В результате ИИ самообучается созданию всё более качественных результатов с течением времени. Этот подход применяется довольно широко в индустрии создания изображений самого разного рода, от поддельных лиц знаменитостей до новых моделей одежды и пугающих реалистичных визуализаций детских рисунков.
Преобразование последовательности дневных изображений в ночные
Впрочем, у исследования NVIDIA есть большое преимущество перед существующими GAN: их алгоритм обучается с гораздо меньшим контролем. Как правило, программам такого рода нужны помеченные наборы данных для генерации новых. Исследователь NVIDIA Минг-Ю Лю (Ming-Yu Liu) объясняет, что обычно для создания GAN, превращающего дневную сцену в ночную, нужно обучать алгоритм на парах изображений, сделанных в одном и том же месте ночью и днём. Затем на основе разницы между такими парами будут создаваться новые изображения.
Но метод NVIDIA не требует предварительной работы и функционирует без заранее помеченных наборов данных, выдавая при этом результаты хорошего качества. Это серьёзно экономит время ИИ-разработчиков, которым в противном случае пришлось бы тратить уйму времени на сортировку обучающих данных.
«Мы одни из первых, кто взялся за проблему, — сказал Минг-Ю. — И нашему методу есть много применений. Например, в Калифорнии редко идёт дождь, но мы хотим, чтобы наши самоуправляемые автомобили работали нормально, когда дождливо. Мы можем использовать наш метод, чтобы превратить солнечные записи вождения в Калифорнии в дождливые и обучать с их помощью наш автопилот».
Метод работает не только для преобразования фотографий улиц. Исследователи уверяют, что проверили его на фотографиях кошек и собак, чтобы превращать снимки одной породы или вида в другую; и использовали его для изменения выражения лиц людей на фотографиях. «Эта работа может быть использована для редактирования изображений, — отмечает разработчик, но добавляет, что конкретных примирений метода пока нет. — Мы делаем это исследование доступным для наших команд по разработке продуктов и клиентов. Но пока ничего не могу сказать о скорости или степени его внедрения».
В полной мере с исследованием можно ознакомиться в специальном документе на ресурсе arXiv, а с дополнительными примерами преобразований — в каталоге изображений.
Источники:
