Суть проблемы
Не так давно для нас, фотографов, было доступно только линейное увеличение фотографии и мы балансировали между кратностью увеличения и сохранением деталей/резкости.
В чем основная проблема? В отсутствии текстуры малых объектов.
Представим фотографию леса, в которой некоторые листья занимают несколько пикселей. По сути, это просто пятно, которое мы воспринимаем как листву. При линейном увеличении это пятно просто увеличится. И будет занимать (условно) не 4 пикселя, а 8. Но текстуры листа так и не получит — её неоткуда взять.
Сейчас ИИ, а тем более генеративные нейросети, как раз могут додумать что это, что за текстура нужна и добавить её.
Посмотреть лекцию про нейросети для пейзажного фотографа можно у меня на Ютуб
Где это может вообще пригодиться?
Кажется, что в мире высоких разрешений и новых матриц фотоаппаратов вопрос размера вроде бы не стоит. Это так, но при условии, что мы будет публиковать свои шедевры исключительно в соц.сетях. В мире же физической печати и/или подготовке к ней фотографий вопросы увеличения изображений все еще стоят довольно остро. Сюда же можно добавить высококлассную и высокоточную обработку.
В итоге как минимум в трех моментах мы обязательно вспомним про апскейл:
- Подготовка к печати форматов больше, чем дает разрешение вашей камеры
- Ретушь с потерей деталей (с помощью генеративного увеличения мы можем генерировать детали, уменьшить результат до оригинального размера и вставить в ретушируемую фотографию)
- Ну и потеря исходника, когда большой формат нужен :)
О ком сегодня пойдет речь?
В последнее время с развитием генеративных нейросетей стали повышаться требования к компьютерам, которые могли бы ворочать такими массивами данных. Поэтому все чаще в этой сфере появляются облачные решения и тем ценнее становятся хорошие локальные — которые можно установить на компьютер и использовать без интернета. В статье мы не сможем опробовать и рассказать обо всех существующих нынче стартапах, которые появляются чуть ли не ежедневно. Постараемся поговорить о лидерах рынка:
- Magnific.Ai (облако)
- Clipdrop (облако)
- Stable Diffusion (локально)
- Topaz Photo Ai (локально)
- ChaiNNer (локально)
-
Adobe Photoshop (локально)
А тренироваться мы будем на фотографии справа. Она
уменьшена до 2000px по длинной стороне, изобилует текстурой и для
разнообразия есть текст.
Magnific.Ai
Я уже писал об этом инструменте заметку в Телеграм и показывал его в лекции о нейросетях для пейзажного фотографа. Впечатляющая генеративная нейросеть, которая действительно умеет дорисовывать :)
Я взял скриншот из игры и апскейлил его с дорисовкой деталей. Так сказать wow-тест.
Да, впечатляюще, да интересно, да настраиваемо…
Но давайте посмотрим на пейзаже?
Интерфейс лаконичен, настроек минимум и пока есть возможно увеличивать максимум в 2 раза и/или до 4000px, но при этом есть возможность выбрать одну из восьми генеративных моделей, а так же уровни кративности, hdr и соответствия оригиналу.
Давайте попробуем на нашем примере
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/HVfmIO4mLFKKXjOpBvhszF3G3aZgnuKC/A0CJ875Bd_zXynI4CS27hWmpjR-3Qj7Q.jpg)
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/uUur9qFGrU-bNOokn-CDeXgVO7DL7HXf/hZiVFu80uZjl5ZO4_dchD3o6BJerhPm9.jpg)
Результат:
Тут мы видим действительно огромное количество дорисованной текстуры. Причем дорисованной логично: очень хорошо проработан камень, трава, но вот с человеком уже не так однозначно. Возможно это связано с тем, что модель для увеличения была выбрана «Landscape».
Но главный философский вопрос в другом — это всё еще та же самая фотография? Оставлю вам возможность для дискуссий :)
Clipdrop
Эта разработка принадлежит компании, создавшей нейросеть Stable Diffusion — одну из трёх самый популярных генеративных нейросетей.
Интерфейс еще проще и еще лаконичнее, но вот уровень увеличения доходит уже до 16-кратного при платной подписке. В бесплатной версии все так же можно увеличить фотографию вдвое.
Но этим возможность Clipdrop не ограничена — тут есть еще дополнительные инструменты редактирования фотографии.
Давайте сравнивать!
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/qqrOvOJIQv0dtUHGwgiTsuUGxQJhOpQp/lCEFN8Kg7NJv_CA4GBxrKExhQEWCoyCJ.jpg)
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/LOu_GN9p08N3RE5aMfNWJll1renlIFr1/j3DCG7x5-oFUDktVSd2Yqf5AbcrWyFgd.jpg)
Результат:
Тут мы видим попытку увеличить фотографию «без креативности» максимум оригинальных деталей, не такая звенящая резкость как у magnific.ai, но и без самоуправства с дорисовкой. Лучше всего Clipdrop себя показывает при больших кратностях.
Stable Diffusion
Раз мы заговорили про компанию-создателя нейросети, то в Stable Diffusion тоже можно увеличивать изображение. И в этом случае тоже работает генеративная дорисовка деталей.
Настройка и возможности Stable Diffusion — это тема отдельного разговора. В интернете полно видео и примеров (правда больше про арт или портреты), но если коротко, то нам понадобится:
- Stable Diffusion (я пользуюсь интерфейсом AUTOMATIC1111)
- Модель генерации (попробуйте для пейзажа CyberRealistic)
- ControlNet — расширение, позволяющее контролировать генерации
- Расширение Ultimate SD Upscale для выбора типа апскейла и управлением им
Если вы смогли все это установить, то парметры с которых имеет смысл начать эксперементировать можно посмотреть на скриншоте справа :)
Посмотрим на примеры?
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/s-tfirJxS0ppGQVz7rBgb_I8toDu43zD/SZVS1E33NR7-QT90JbxeE5hbYwfMlXGe.jpg)
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/6L3W1eA2NCRA0KXANlDxbivLHv3TpC2-/4hDk155Yq9zTaXcVkckPjAGOA_zR-C0Z.jpg)
Результат:
Тут мы тоже видим сгенерированные текстуры, которые соответствуют логике. При этом Stable Diffusion — это такой линукс в мире нейросетей. И результат очень сильно зависит от правильно подобранной модели для генерации. Минусом будет пожалуй большие компьютерные (и как следствие — временные) затраты и невозможность посмотреть «на лету» будущий результат выставленных параметров.
Topaz Photo Ai
Отвлечемся от генеративных нейросетей и перейдем к почти классическим программным продуктам, выполненным в виде привычных приложений, хотя под капотом всё тот же ИИ.
Несомненно лидером апскейла тут будет компания Topaz, у которой раньше было семейство приложений, но сейчас они все их свели в одно: Topaz Photo Ai. В нем можно делать шумоподавление, увеличение резкости, лечение микросмазов и увеличивать фотографии.
Программа имеет несколько обученных моделей, которые условно разбиты на: Standart, High Fidelity Graphics и Low Resolution — то есть по типу контента на загруженной фотографии.
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/aoZBs0Ztx5131sb0WZwTt6vIk-VsiVNS/3H28MEUsGI2GJ-d_TyXfwwlBsEjK-Iw7.jpg)
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/IzVkapTK-HKiKVI6ly3EWzeY2bg_zG4V/BZUKl9KA9Xvkg7JooOao6DSa6OGD4bgF.jpg)
Результат:
Очень быстро и без генерации текстур. Это может быть и плюсом (фотография остается максимально сама собой) и минусом (при больших кратностях увеличения начинается странная дорисовка особенно на контрастных или текстурных объектах). Зато в Topaz можно пакетно загонять фотографии и всех их увеличивать за один присест с одинаковыми выбранными настройками.
Нейросетевой комбайн chaiNNer
— Скачать и установить ChaiNNer можно тут: chainner.app/
— А на гитхабе есть ссылки на модели, дискорд, способы восстановления и реставрации лиц и многое другое: github.com/chaiNNer-org/chaiNNerP. S. А еще тут можно… апскейлить видео!
И напоследок — моя новая любимая нейросетевая игрушка, которая по сути является связкой-интерфейсом разных нейросетей. chaiNNer построен на нодах, комбинируя которые можно делать просто космические вещи, у которых под капотом все так же будут нейросетевые генеративные функции.
Если же возвращаться к увеличению фотографии, то мы берем фотографию, ноду upscale, к ней подключаем модель апскела (большой список с описаниями тут), можем модифицировать выходное имя файла и куда сохранять. На скришотах ниже представлены два варианта конфигов увеличения фотографий. Хотя можно еще больше придумать при необходимости :)
А самое интересное заключается в том, что в ChaiNNer можно… пакетно обрабатывать фотографии!
Сравниваем…
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/foi832nmDi-dyf94RxTpcGi7QJiyKpxX/Kx69B7Nu1raOk2WRObor7790BWIbzX6Z.jpg)
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](https://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/__QFaheUI0wSSea5lSeLKAs2h2YbEg3j/y16bsC7AhsJRfXDMvoR7Mol4CHgu_Gtl.jpg)
Результат:
Пожалуй этот результат можно сравнить с Magnific.Ai за исключением того, что он локальный и бесплатный. Да и фотография больше похожа на саму себя без креативных дополнений.
А с учетом того, что тут все можно настроить более точно да еще и подобрать разные модели под разные задачи, то вариант выглядит более чем интересно! За одним минусом — требования к железу (компьютеру).
А что же Фотошоп?
Фотошоп в плане увеличения фотографии все еще апеллирует линейными понятиями, но возможно они подтянутся к гонке апскейлеров и если даже не возглавят, то как минимум фотографов перетянут обратно к себе, потому что для фотографа идеальным решением будет то, которое оставит его в одной программе и в рамках одного рабочего процесса.
Почему же я добавил в эту статью Фотошоп?
Дело в том, что лично для меня пока еще лучшим решением является микс представленных инструментов и потом смешение их с линейно увеличенной в Фотошопе фотографией. Нейросети нейросетями, но иногда они не справляются или ошибаются. Поэтому маски и прорисовка где надо по-больше, а где по-меньше даст максимально возможный на текущий момент результат.
Выводы
Генеративные нейросети подбираются всё ближе и ближе к нашему рабочему процессу. И отказываться от них точно не стоит. А такие «обёртки» вроде chaiNNer только помогают нам войти в эту сферу без программирования и каких-то серьёзных знаниях в IT.
Комментарии
Статьи
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/F7yKMj7NkDIXzRzhdo3wBl84-huWJlzj/y0HO__mh_uYxLqFKNDUsMkYnSTs41uYa.jpg)
Фонарь на дрон
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/KfN2JhbB89-m6UeUSQ-43cSGNBDUivJr/9XYvpjgORLh50pBAjo1RnKAWpcl0KVBj/id_nsQlAFv4bMD5uah02exGsnlqA54aZ/22D4sQxmpZU.png)
Программы для планирования пейзажных фотосъемок
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/IkdRPDP49x3eEX-5SMHCjOqov3KtRIwt/GBsZ33ErRJI.jpg)
Стекинг в ночной фотографии
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/SHesViCG7Fv2TbdysYjNOhGOmZXY58t7/Z4K0pMVgY0I.jpg)
Хорошие китайские аккумуляторы для вашей камеры. Тест SmallRig
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/dBnq50BEvyXQfl1Izw6kFu_ur3INFCjr/3U05EypQbAE.png)
Удаляем звезды на астро-пейзаже правильно
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Sjpgrm2v20FR6Cth5viRkySQXwdNMnI8/PNba8pyNInjwo8WXlMvl477mvCJgjoKc/b2xrgprwYn8xOF0UxeBB0RKroDDHJLr6/xADqc50WkGA.jpg)
Нейросети для фотографа
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/3VJubfzX9N5ngyO6EK6Xuwb-2HOaja1N/eWYCP0JIZ6E.jpg)
Кольцевое штативное крепеление как замена L-pate
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/KfN2JhbB89-m6UeUSQ-43cSGNBDUivJr/9XYvpjgORLh50pBAjo1RnKAWpcl0KVBj/yz0NbrCUZ6-94HIazvhDZuzk-5tU0OyH/5Lr8wTfq0s0.png)
Увеличение изображения с помощью ИИ
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/1sZRhbsZs-ACd5BlYdQ0Eyj4ydwrSY-O/wkAStpETjUs.jpg)
Задача обработки — уменьшение динамического диапазона
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Sjpgrm2v20FR6Cth5viRkySQXwdNMnI8/PNba8pyNInjwo8WXlMvl477mvCJgjoKc/dhS0aIC1T5Q1UaaTv-NWHxo1deTq5HuU/NjoTAA5ccBM.jpg)
Откуда появляются дырки в звездных треках?
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/KfN2JhbB89-m6UeUSQ-43cSGNBDUivJr/9XYvpjgORLh50pBAjo1RnKAWpcl0KVBj/OAbrI3BH_rIrzDHJNEN8E7g3ek8LFIEn/oP8rrCkblVM.png)
Нормальная интервальная съемка на Canon
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Erhj60RfGoSDn6LYN1vjjtPjHSou3Auq/OZzwdQTXxoKzF_NukPblF1KgBZdfdlzT/638ZiTHeKStFxkzkbQP3Awe5dBY7RQju/Pnd-MVbrsHk.jpg)
Рабочее место фотографа
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Sjpgrm2v20FR6Cth5viRkySQXwdNMnI8/PNba8pyNInjwo8WXlMvl477mvCJgjoKc/qk-wY65_et9A2GamIV_JGWX_BnC625P_/CDoeNcfODe8.png)
Манифест пейзажного фотографа
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/Sjpgrm2v20FR6Cth5viRkySQXwdNMnI8/PNba8pyNInjwo8WXlMvl477mvCJgjoKc/vx0Lafr47MZVoMV2ZdQ_te8BjXxG-gSM/_qtfCxAeLmw.jpg)
Автоматический стекинг по фокусу в камере
![Увеличение фотографии с помощью нейросетей. Фотограф Константин Шамин](http://i.wfolio.ru/x/KfN2JhbB89-m6UeUSQ-43cSGNBDUivJr/9XYvpjgORLh50pBAjo1RnKAWpcl0KVBj/whNBbkxUxdYI0hVIZsspan4iQXXIefnB/1hIJov-cy3Q.png)