Как вычислительная фотография улучшает фото со смартфонов

Когда речь заходит о камерах для смартфонов, дело уже не только в аппаратной части. Современные смартфоны автоматически используют методы "вычислительной фотографии" для улучшения каждой сделанной вами фотографии.


Использование программного обеспечения для улучшения камеры смартфона

Вычислительная фотография - это широкий термин для обозначения множества различных методов, использующих программное обеспечение для улучшения или расширения возможностей цифровой камеры. Важно, что вычислительная фотография начинается с фотографии и заканчивается чем-то, что все еще выглядит как фотография (даже если это никогда не могло быть сделано обычной камерой)


Как работает традиционная фотография

Перед тем как углубиться, давайте быстро пройдемся по тому, что происходит, когда вы фотографируете старой пленочной камерой. Что-то вроде зеркального фотоаппарата, которым вы (или ваши родители) пользовались в 80-х годах.

Когда вы нажимаете на спусковую кнопку, затвор открывается на долю секунды и пропускает свет на пленку. Весь свет фокусируется физическим объективом, который определяет, как будет выглядеть все на фотографии. Чтобы приблизить далеких птиц, вы используете телеобъектив с большим фокусным расстоянием, а для широкоугольных снимков всего пейзажа - что-то с гораздо меньшим фокусным расстоянием. Аналогично, диафрагма объектива управляет глубиной резкости, или тем, какая часть изображения находится в фокусе. Когда свет попадает на пленку, он экспонирует светочувствительные соединения, изменяя их химический состав. Изображение, по сути, вытравливается на пленке.

Все это означает, что физические свойства используемого оборудования определяют все, что касается получаемого изображения. Однажды сделанное изображение нельзя обновить или изменить.

Вычислительная фотография добавляет несколько дополнительных шагов к процессу и, как таковая, работает только с цифровыми камерами. Помимо съемки оптически определенной сцены, цифровые датчики могут записывать дополнительные данные, например, цвет и интенсивность света, попадающего на датчик. Одновременно можно сделать несколько фотографий с разным уровнем экспозиции, чтобы получить больше информации о сцене. Дополнительные датчики могут регистрировать расстояние между объектом и фоном. А компьютер может использовать всю эту дополнительную информацию, чтобы что-то сделать с изображением.

Хотя некоторые зеркальные и беззеркальные камеры имеют встроенные базовые функции вычислительной фотографии, настоящими звездами шоу являются смартфоны. Google и Apple, в частности, используют программное обеспечение для расширения возможностей маленьких, физически ограниченных камер своих устройств. Например, посмотрите на функцию Deep Fusion Camera в iPhone.


Какие вещи может делать вычислительная фотография?

До сих пор мы говорили о возможностях и общих чертах. Однако теперь давайте рассмотрим несколько конкретных примеров того, что позволяет делать вычислительная фотография.


Режим портрета

Режим портрета - один из больших успехов вычислительной фотографии. Маленькие объективы камер смартфонов физически не позволяют снимать классические портреты с размытым фоном. Однако с помощью датчика глубины (или алгоритмов машинного обучения) они могут определить объект и фон вашего изображения и выборочно размыть фон, получив нечто, очень похожее на классический портрет.

Это прекрасный пример того, как вычислительная фотография начинается с фотографии и заканчивается чем-то, что выглядит как фотография, но с помощью программного обеспечения создает то, что физическая камера сделать не могла.


Снимайте лучше в темноте

Снимать в темноте традиционной цифровой камерой сложно: света не так много, поэтому приходится идти на компромиссы. Однако смартфоны могут добиться большего благодаря вычислительной фотографии.

Снимая несколько фотографий с разными уровнями экспозиции и смешивая их вместе, смартфоны способны извлечь больше деталей из теней и получить лучший конечный результат, чем может дать любое отдельное изображение - особенно с крошечными датчиками смартфонов.

Эта техника, называемая Night Sight от Google, Night Mode от Apple и нечто подобное от других производителей, не лишена недостатков. Съемка нескольких экспозиций может занять несколько секунд. Для достижения наилучших результатов необходимо держать смартфон ровно в промежутках между ними - но это позволяет делать фотографии в темноте.


Фотографии с лучшей экспозицией в сложных ситуациях освещения

Смешивание нескольких изображений не только делает фотографии лучше, когда на улице темно; оно может работать и во многих других сложных ситуациях. HDR или фотография с высоким динамическим диапазоном существует уже давно, и ее можно делать вручную на зеркальных фотоаппаратах, но теперь она используется по умолчанию и автоматически в последних моделях iPhone и телефонах Google Pixel. (Apple называет это Smart HDR, а Google - HDR+.)

HDR, как бы его ни называли, работает путем объединения фотографий, в которых приоритет отдается светлым тонам, с фотографиями, в которых приоритет отдается теням, а затем выравнивает любые расхождения. Раньше HDR-изображения были перенасыщенными и почти карикатурными, но теперь процесс стал намного лучше. Они все еще могут выглядеть немного не так, но в большинстве своем смартфоны отлично справляются с использованием HDR для преодоления ограниченного динамического диапазона своих цифровых датчиков.


И многое другое

Это лишь некоторые из наиболее требовательных к вычислительным ресурсам функций, встроенных в современные смартфоны. Они могут предложить еще множество функций, таких как вставка элементов дополненной реальности в ваши композиции, автоматическое редактирование фотографий, съемка с длительной экспозицией, объединение нескольких кадров для улучшения глубины резкости конечной фотографии и даже скромный режим панорамы, который также зависит от некоторых программных помощников.


Вычислительная фотография: Вы не можете избежать этого

Нормально, если бы мы писали такую статью, мы бы закончили тем, что предложили бы вам способы, которыми вы можете делать вычислительные фотографии, или порекомендовали бы вам самим поиграть с этими идеями. Однако, как должно быть ясно из приведенных выше примеров, если у вас есть смартфон, вы не можете обойтись без вычислительной фотографии. Каждая фотография, сделанная современным смартфоном, автоматически подвергается какому-то вычислительному процессу.

И приемы вычислительной фотографии становятся все более распространенными. За последние полдесятилетия развитие аппаратного обеспечения камер замедлилось, поскольку производители столкнулись с физическими и практическими ограничениями и вынуждены работать в обход них. Программные усовершенствования не имеют таких жестких ограничений. (iPhone, например, имеет аналогичные 12-мегапиксельные камеры, начиная с iPhone 6. Нельзя сказать, что новые камеры не лучше, но скачок в качестве сенсора между iPhone 6 и iPhone 11 гораздо менее значителен, чем между iPhone 6 и iPhone 4.)

В течение следующих нескольких лет камеры смартфонов будут продолжать становиться все более совершенными, поскольку алгоритмы машинного обучения становятся все лучше, а идеи переходят из исследовательских лабораторий в потребительскую технику.

Ваше имя: *
Ваш e-mail: *
Код: Кликните на изображение чтобы обновить код, если он неразборчив
Введите код: