iPhone против Android: два разных подхода к фотографии и машинному обучению
Последний скандал вокруг камер в телефонах Samsung снова поднял вопрос о вычислительной фотографии. И подчеркнул разницу между ней и подходом Apple в системе iOS. Издание AppleInsider.com разбирается с этой разницей и и пытается понять — так ли это плохо, дорисовывать что-то на снимке, потому что оно там должно находиться, просто его не видно?
Не является большим секретом, что Apple использует передовые алгоритмы и вычислительную фотографию почти для всех функций камеры iPhone. Однако это хороший вопрос: где провести границу между алгоритмами и чем-то более навязчивым, например, изменением картинки уже после захвата изображения.
В этом материале мы рассмотрим споры вокруг «лунных» фотографий Samsung, как компания решает проблему вычислительной фотографии и что это означает для Apple и ее конкурентов в будущем.
Вычислительная фотография
Вычислительная фотография — это не новая концепция. Она стала необходимой, когда люди захотели получить больше производительности от своих крошечных камер смартфонов.
Основная идея заключается в том, что компьютеры могут выполнять миллиарды операций в одно мгновение — например, после нажатия кнопки спуска затвора камеры — чтобы заменить необходимость базового редактирования или применить более сложные исправления. Чем больше мы можем запрограммировать компьютер на выполнение операций после нажатия кнопки спуска затвора, тем лучше может получиться фотография.
Это началось с двойной системы камер Apple в iPhone 7 Plus. Другие фотографические инновации до этого, такие как Live Photos, можно считать вычислительной фотографией, но портретный режим стал поворотным моментом для Apple.
Его компания представила в 2016 году. Режим использовал данные о глубине с двух камер на iPhone 7 Plus для создания искусственного боке. Компания утверждала, что это стало возможным благодаря двойной системе камер и усовершенствованному процессору обработки сигналов изображения, который выполнял 100 миллиардов операций для каждой фотографии.
Само собой разумеется, это не было совершенством, но это был шаг в будущее фотографии. Технология камер будет продолжать адаптироваться к форм-фактору смартфона, чипы будут становиться быстрее, а датчики изображения будут становиться мощнее.
В 2023 году не редкость съемка кинематографически размытого видео с использованием передовых вычислительных движков, однако результат далеко не всегда однозначный. Вычислительная фотография повсюду, от Photonic Engine до Photographic Styles — алгоритм обрабатывает каждую фотографию, сделанную на iPhone. Да, даже ProRAW.
Все это было вызвано желанием людей запечатлеть свою жизнь с помощью устройства, которое было у них всегда под рукой — iPhone. Физика на стороне специализированных камер с большими матрицами и гигантскими объективами, но средний человек не хочет тратить сотни или тысячи долларов на специализированную технику.
Поэтому на помощь пришла вычислительная фотография. Она расширяет возможности крошечных сенсоров смартфонов. Передовые алгоритмы, построенные на основе больших баз данных, сообщают процессору обработки изображения, как захватить идеальную картинку, обработать шум и экспонировать объект.
Однако есть большая разница между использованием вычислительной фотографии для расширения возможностей камеры и изменением изображения на основе данных, которые сенсор никогда не фиксировал.
Лунная гонка имени Samsung
Для ясности: Apple использует модели машинного обучения — или «AI, искусственный интеллект» для тех, кто использует плохо придуманное новое популярное слово — для вычислительной фотографии. Алгоритмы предоставляют информацию об управлении съемкой нескольких изображений для получения наилучших результатов или создания профилей глубины резкости.
Процессор изображений анализирует тон кожи, небо, растения, домашних животных и многое другое, чтобы обеспечить правильную цветопередачу и экспозицию, а не замену пикселей. Он не ищет объекты, такие как луна, чтобы обеспечить специфическое улучшение на основе информации, находящейся за пределами матрицы камеры.
Мы указываем на это, потому что те, кто обсуждает фотографии луны от Samsung, используют вычислительную фотографию Apple в качестве примера того, как другие компании выполняют подобные изменения в фотографии. Это просто не так.
Компания Samsung сама рассказала, как телефоны Samsung, начиная с Galaxy S10, обрабатывают изображения с помощью распознавания и изменения объектов. Функция Scene Optimizer начала распознавать луну с модели Galaxy S21.
Как описывается в недавно опубликованном документе, «искусственный интеллект» распознает луну с помощью изученных данных, а функция механизма улучшения деталей применяется для того, чтобы сделать фотографию более четкой с помощью многокадрового синтеза и машинного обучения.
По сути, устройства Samsung распознают луну в кадре, а затем используют другие изображения высокого разрешения и данные о луне для синтеза лучшего результата. В итоге получается не изображение, снятое камерой устройства, а нечто новое, сконструированное.
В целом, эта система умна, потому что Луна выглядит одинаково независимо от того, откуда она видна на Земле. Единственное, что меняется — это цвет света, отраженного от ее поверхности, и фаза самой Луны. Усиление луны на фотографии всегда будет простым расчетом.
И устройства Samsung, и устройства Apple используют для сложных вычислений экспозицию из нескольких фотографий. Оба устройства анализируют несколько сделанных снимков на предмет лучшей части каждого из них и объединяют их в одно превосходное изображение. Однако Samsung добавляет еще один шаг для распознанных объектов, таких как луна, который вводит новые данные из других изображений объектов с высоким разрешением для коррекции на окончательном снимке.
Это не обязательно плохо. Просто Samsung не разъяснил это в своей рекламе или маркетинге продукта, что может привести к путанице среди покупателей.
Проблема этого процесса и причина, по которой ведутся дебаты, заключается в том, как это повлияет на будущее фотографии.
Иными словами, конечное изображение не представляет собой то, что было обнаружено сенсором и обработано алгоритмом. Оно представляет собой идеализированную версию того, что могло бы быть, но не является таковым из-за слишком маленького размера матрицы и объектива камеры.
Надвигающаяся битва за реализм
С нашей точки зрения, основным принципом фотографии на iPhone всегда были реализм и точность. Если существует идеальная середина в насыщенности, резкости и экспозиции, то за последнее десятилетие Apple стремилась к ней, хотя и не всегда оставалась абсолютно последовательной.
Мы признаем, что фотография невероятно субъективна, но кажется, что фотографии Android, а именно Samsung, отклонились от реализма. Опять же, это не обязательно негатив, но это выбор, сделанный Samsung, с которым покупатели должны считаться.
Что касается данного обсуждения, устройства Samsung и Pixel медленно отклоняются от идеального реалистичного центра репрезентативности. Они борются за большую насыщенность, резкость или дневную экспозицию в ночное время.
В примере выше показано, как Galaxy S22 Ultra отдал предпочтение большей экспозиции и насыщенности, что привело к потере деталей. Невинный и основанный на собственном мнении выбор, но iPhone 13 Pro в данном случае дает более детализированную фотографию, которую можно отредактировать позже.
Эта разница в способах съемки фотографий заложена в алгоритмах, используемых каждым устройством. По мере совершенствования этих алгоритмов будущие решения о съемке могут привести к выбору, который впоследствии нельзя будет отменить.
Например, изменив вид луны с помощью усовершенствованных алгоритмов без предупреждения пользователя, это изображение навсегда изменится в соответствии с тем, что Samsung (а не вы) считает идеальным. Конечно, если пользователи знают, как отключить эту функцию, они могли бы это сделать, но, скорее всего, они этого не сделают.
Мы рады будущему фотографии, но, как любители фотографии, надеемся, что оно не будет таким… незаметным? Подобно портретному режиму Apple, Live Photos и другим технологиям обработки — сделайте эту функцию отключаемой с помощью очевидных переключателей. Кроме того, сделайте его обратимым.
Нажатие кнопки спуска затвора в приложении основной камеры устройства должно сделать репрезентативный снимок того, что видит сенсор. Если пользователь хочет больше, позвольте ему выбрать, добавить его с помощью переключателей до или после редактирования.
А пока попробуйте сфотографировать ночное небо, используя только iPhone и штатив. Это работает.
Почему это важно
Важно подчеркнуть, что нет никаких проблем с заменой уродливого светящегося шара в небе на нормальную луну, как нет проблем с удалением людей или лишних объектов с фотографии. Однако это должен быть управляемый, переключаемый и видимый пользователю процесс.
По мере развития алгоритмов мы будем видеть все больше рафинированных и обработанных изображений со смартфонов Android. Худшие нарушители будут удалять или заменять объекты без предупреждения.
Apple неизбежно будет совершенствовать свои алгоритмы обработки изображений на устройствах. Но, исходя из того, как компания подходила к фотографии до сих пор, мы ожидаем, что она будет делать это с учетом стремления пользователя к реализму.
Трайбализм в технологическом сообществе всегда вызывал споры среди пользователей. Среди них — Mac или PC, iPhone или Android, а вскоре и реальные или идеальные фотографии.
Мы надеемся, что Apple и в дальнейшем будет выбирать реализм и контроль пользователя над фотографиями. Предоставление компании полного контроля над тем, что пользователь снимает на камеру, вплоть до изменения изображений в соответствии с идеалом, не похоже на будущее, частью которого мы хотим быть.