Процессор обработки изображений qualcomm spectra второго поколения получит множество новых возможностей
Одни из самых востребованных возможностей современных смартфонов связаны с применением встроенных камер, и обращение уже далеко не только о селфи и снимках других жизненных событий, но и применении камер в средах дополненной и виртуальной реальности, и вторых современных сферах применения. Изображение с камер обрабатывается специальным процессором Image Signal Processor (ISP), что играется наиболее значимую роль в качестве изображения, скорости фокусировки и множестве дополнительных возможностей.
Компания Qualcomm объявила кое-какие из возможностей их Qualcomm Spectra ISP второго поколения, имеющего расширенную функциональность для применения в дополненной и виртуальной реальности, и предлагающего улучшенное уровень качества изображения. Возможности Spectra ISP включены во все смартфоны, основанные на процессорах Qualcomm Snapdragon.
Самой увлекательной из возможностей Spectra нового поколения стала расширенная помощь разработки измерения глубины (depth-sensing technology). Подобные разработки известны по специальным продуктам (проект Гугл Tango, контроллер Микрософт Kinect и другие). Они разрешают приобретать трёхмерные карты снимаемого пространства, что употребляется, например, в приложениях и играх расширенной и дополненной действительности.
Информация о глубине (расстоянии) может употребляться для измерения размеров объектов и отслеживания их положения в пространстве, что полезно а также для отслеживания действий пользователя в приложениях виртуальной реальности без необходимости применения особых сенсоров перемещения.
Сигнальный процессор Spectra ISP нового поколения будет поддерживать два способа измерения глубины: пассивный и деятельный. Первый способ разрешает применять всего две камеры, расположенные рядом между собой, и при помощи обработки отличий в двух изображениях выделять данные о глубине объектов в сцене. Данный способ подходит для недорогих ответов и снабжает начальный уровень точности получения информации о глубине.
Для более сложных (и дорогих) применений в совокупностях расширенной действительности, Spectra ISP второго поколения будет способен собирать данные кроме этого и от активных сенсоров глубины, применяющих намерено подготовленное освещение инфракрасным светом и ИК-датчик дабы строить карты глубины большого разрешения.
Компания Qualcomm именует такие цифры: получение более 10 000 точек с данными о глубине с разрешением в 0,1 мм при частоте получения данных в 40 кадров в секунду и более. Согласно данным компании, они предложат самые производительные и правильные датчики глубины для смартфонов, трудящиеся на расстоянии до 3-4 метров.
Полученные точки со значениями глубины смогут употребляться в отслеживании рук в приложениях виртуальной реальности, отслеживании перемещения шлемов виртуальной реальности, трудящихся без дополнительных датчиков и проводов а также распознавании лиц и других объектов, что возможно применять для идентификации человека.
Из вторых возможностей новой версии Spectra ISP возможно выделить аппаратно-ускоренное шумопонижение с применением данных из нескольких кадров (multi-frame noise reduction), в то время, когда ISP приобретает пара кадров и на их базе выдаёт единственный кадр, удаляя отличающиеся эти, присутствующие только на некоторых кадрах.
Кроме этого процессором Spectra ISP второго поколения поддерживается аппаратное ускорение электронной стабилизации изображения и временная фильтрация с компенсацией перемещения (motion compensated temporal filtering — MCTF) для другие качества возможности и улучшения видеороликов, каковые раскроют позднее.
А чтобы оказать помощь производителям взять качественные снимки для обработки в Spectra ISP, компания Qualcomm трудится с партнёрами по программе Spectra Module Program. В отличие от общепринятого подхода, в то время, когда производителю смартфона достаётся лишь ISP и драйвер, а дальше ему приходится сопрягать это с сенсором камеры самостоятельно, Qualcomm предлагает полноценные наборы из сенсоров, процессоров обработки изображения ISP, и уже оптимизированного ПО для работы всего набора.
В дополнение к существующим модулям с одной камерой, двумя камерами (цветная и черно-белая — разработка Qualcomm Clear Sight), и с двумя камерами с различным фокусным расстоянием (оптическое повышение), каковые уже поддерживаются ответами Qualcomm, в 2017 году объявлена помощь сканирования радужной оболочки глаза и расширенные возможности для определения глубины сцены.
Qualcomm заявляет, что их модуль сканера радужной оболочки глаза очень надёжен, применяет ИК-датчик с низким энергопотреблением и высоким разрешением, трудящимся и через солнцезащитные очки, и что его нереально одурачить при помощи трёхмерных моделей либо двухмерных фотографий, как и других аналогичных способов взлома. А для хранения биометрических данных употребляются возможности защищённой памяти Qualcomm ARM TrustZone, что кроме этого усложнит задачу преступников.
Процессор Spectra ISP второго поколения ожидается уже в следующем флагманском чипе, известном как Snapdragon 845.