Depth Pro — новая ИИ модель от Apple, создающая 3D-карты объектов из двумерных изображений

Команда Apple создала новую модель искусственного интеллекта, которая создает 3D-карты объектов из двумерных изображений заметно точнее существующих аналогов. Это может помочь компании не только в пост-обработке, например, фотографий, но также при работе в виртуальных трехмерных средах.

Новая модель ИИ называется Depth Pro и ее подробное описание доступно по ссылке. Depth Pro обещает быстро создавать комплексные 3D-карты из отдельных 2D-изображений. В аннотации к статье объясняется, что модель на процессоре потребительского класса может создать 2,25-мегапиксельную карту глубины из изображения за 0,3 секунды. Это важно, ибо отлично укладывается в парадигму Apple максимально много откручивать локально без передачи в облака.

Хотя те же айфоны могут создавать карты глубины с помощью набора датчиков и сенсора LiDAR, большинство неподвижных изображений не имеют сопутствующих данных о глубине реального мира. А они могут быть очень полезны для множества задач. Например, если нужно отредактировать только объект или придать сцене искусственное «линзовое» размытие, карта глубины поможет программному обеспечению создать точные маски. Модель карты глубины также может помочь при создании изображений искусственным интеллектом, поскольку глубокое понимание карт глубины может помочь модели синтеза получить более реалистичные результаты.

Как объясняют исследователи Apple, эффективная метрическая монокулярная модель оценки глубины должна быстро выдавать точные результаты высокого разрешения, чтобы быть полезной. Небрежная карта глубины не представляет особой ценности.

— Depth Pro создает метрические карты глубины высокого разрешения с высокочастотной детализацией при субсекундном времени работы. Наша модель достигает высочайшей точности оценки метрической глубины с нулевого снимка, не требуя метаданных, таких как характеристики камеры, и прослеживает границы окклюзии с беспрецедентной детализацией, что облегчает такие приложения, как синтез новых видов из отдельных изображений «в дикой природе»», — объясняют они. Тем не менее, команда признает некоторые ограничения, включая проблемы с полупрозрачными поверхностями и объемным рассеянием.

Помимо редактирования фотографий и синтеза новых изображений, модель карты глубины может оказаться полезной и для приложений дополненной реальности (AR), где виртуальные объекты должны быть точно размещены в физическом пространстве. Модель Depth Pro умеет работать как с относительной, так и с абсолютной глубиной.

В реальных продуктах Apple работу модели нам еще предстоит увидеть, но такое ощущение, что в Купертино сейчас параллельно делают две вещи: разрабатывают сам каркас работы с моделями через искусственный интеллект Apple Intelligence, а также попутно готовят сами локальные производительные модели под разные задачи. Возможно, в этом и будет основное конкурентное преимущество айфонов на горизонте 1-2 лет.

Погонять самостоятельно новую модуль можно по ссылке.