Как функционирует распознавание лиц в мобильных устройствах

Зачем мы выбираем разблокирование по лицевому распознаванию

В прошлые времена определение лиц превратилось в одной из самых распространённых опций для открытия смартфонов. Еще несколько годов назад основная часть пользователей довольствовались пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь превращает эту особенность очень нужной? Прежде всего, это удобно: не нужно помнить сложные пароли или отыскивать нужный палец в мраке. Во-вторых, это мгновенно: современные системы узнают лицо буквально за мгновение. В-третьих, это ощущение футуризма — словно в кинолентах про вулкан платинум зеркало разведчиков.

Тем не менее за данной видимой несложностью скрывается весь вселенная комплексных методов и инженерных решений. Позвольте нам исследовать, как точно действует распознавание лиц в современных смартфонах, какие применяются методы, насколько они надёжны и что нас предстоит.

Краткая повествование прогресса инноваций

Идентификация лиц как техника имеется уже более 50 годов. Начальные эксперименты машинного анализа лиц были предприняты еще в 1960-х годы в лабораториях США. Тогда компьютеры способны были лишь определять очертания лица и вычислять расстояния между очами и устами на черно-белых снимках.

Первые торговые платформы появились в девяностых годах, но они были несовершенны: работали медленно и часто ошибались. Только с развитием синтетических сетей и таких площадок, как Vulkan Platinum, высокопроизводительных мобильных чипов идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои решения.

Ключевые этапы функционирования системы определения

Процесс идентификации лица можно ориентировочно поделить на несколько важных этапов:

1. Обнаружение лиц — аппарат распознает существование людского образа в изображении.
2. Извлечение особенностей — алгоритм изучает черты лица: форму зрительных органов, обонятельного органа, уст, расположение бровей.
3. Построение шаблона — создаётся особенный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со стандартом — созданный модель сравнивается с зафиксированной при внесении биометрической данными владельца.
5. Принятие определения — если соответствие достаточно значительное, смартфон деблокируется.

Каждый из данных этапов нуждается в особых процедур и оптимизаций для оперативной работы прямо на устройстве.

Железные составляющие: что скрыто внутри

Обычная селфи камера.

Простейший легкий метод распознавания физиономии задействует только фронтальную камеру смартфона мобильного устройства. Такой способ внедрён во различных доступных вариантах Android-девайсов.

Преимущества:

• Не нуждается в нуждается в внешних сенсоров.
• Быстро функционирует при достаточном свете.

Слабые стороны:

• Несложно ввести в заблуждение изображением или видеозаписью.
• Плохо работает при низком свете или непривычных ракурсах.

ИК камера и точечный проектор

Более совершенные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс лежит в основе Face ID от Apple.

Как это функционирует:

• Точечный проектор проецирует на лицо юзера невидимую структуру из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
• ИК камера регистрирует изменение формы данной решетки по поверхности лица.
• Формируется трехмерная глубинная карта глубины, что почти что неосуществима для подделки обычной снимком или маской.

Плюсы

• Надёжная работа даже в полной неосвещённости.
• Высокая защита к подделкам.
• Точность идентификации свыше 99%.

Добавочные датчики

В некоторых устройствах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые определяют период прохождения света до объекта и обратно; Трехцветные-датчики глубины; специальные оптические измерители расстояния для построения более точной 3D-модели лица.

Эти технологии применяются чаще всего во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искуственный разум на исполнении

Текущие механизмы распознавания физиономий немыслимы без применения ИИ и машинного обучения. Именно вследствие таким инновациям, как Vulkan Platinum, аппарат способно узнавать владельца даже при метаморфозах внешности: новая стрижка, растительность на лице, линзы или косметика не становятся помехой для деблокировки.

Обнаружение физиономии

При стартовом стадии алгоритм необходимо мгновенно распознать ликовое изображение среди полного изображения с камеры. Для этого используются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые натренированы распознавать человеческие лица среди множества других объектов.

Пример: процесс MTCNN в состоянии обнаруживать лицо даже с частичном закрытии (например, платком или рукой).

Выделение важных аспектов

После обнаружения лица механизм, такая как Vulkan Platinum, устанавливает местоположение основных точек: края глаз, верхушка носа, границы губ и так далее. Как правило задействуется от 68 до 128 основных маркеров на лице.

Это нужно для стабилизации картинки: если пользователь держит смартфон под углом, или наклонил голову, программа исправляет изображение до обычного угла для дальнейшего анализа.

Построение биометрического модели

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Такой шаблон крайне трудно сфальсифицировать: он не хранит непосредственно фото юзера, а лишь уникальные черты его вида, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сравнительный анализ и принятие заключения

Если человек желает разблокировать телефон глазами, механизм повторяет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ блокируется.

Приспособление к изменениям внешнего вида

Занимательная черта нынешних систем — возможность самостоятельного обучения. Если вы постоянно разблокируете телефон с новой прической или оптикой, программа постепенно обновляет эталонный модель вашего облика для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрических данных.

Многие пользователи беспокоятся хранить свои био-идентификационные данные на мобильном устройстве из-за вероятности утечки данных или взлома устройства. Определенные организации, например Вулкан Казино Платинум, предлагают методы для повышения сохранности информации юзеров.

• Локальное сбережение: Преимущественно аппаратов хранит био-идентификационные модели только внутрь безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют гаджет и закрыты даже производителю.

• Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних девелоперов не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать факт подтверждения личности через системный API.

Необходимо подчеркнуть важную особенность: если какой-то человек получит физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители осуществляют меры безопасности от автоматического разблокирования — к примеру, заставляют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории идентификации лиц на изображениях?

В настоящее время можно выделить различить 3 главных подхода к выполнению этой операции:

Программное 2D распознавание

Применяется только лицевая видеокамера без экстра датчиков дистанции. Этот подход наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; минимальная стоимость; быстрая функционирование при достаточном свете.
Минусы: просто ввести в заблуждение снимком; нестабильная работа ночью; слабая защищенность.

Аппаратное объёмное сканирование

Использует инфракрасную камеру + проектор пикселей + сенсоры дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Достоинства: значительная достоверность; нельзя обмануть изображение/видеозапись; стабильная деятельность при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные способы с ИИ-дополнением

Используют комбинацию программных методов + техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например Vulkan Platinum и Google Pixel Face Unlock современных поколений, объединяют фронтальную камеру c ИК сенсором мобильности Soli Radar для защиты от подделок руками/масками/видеодисплеями чужих устройств.

Образцы применения разнообразных техник

• iPhone линейки X/11/12/13/14 применяют только техническое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как программное двухмерное распознавание по фото фронтальной камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы защиты и ложные сигналы

Несмотря на поразительный успехи технологий за последние годы, идеальных системы пока не имеется:

1. Шанс мошенничества: Бюджетные телефоны без труда “разблокируются” высококачественной фотографией пользователя или же видеозаписью с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
3. Метаморфозы облика: Стремительное похудение/увеличение массы тела, хирургические вмешательства или травмы порой необходимы для обновления данных биометрии.
4. Условия записи: Сильная подсветка солнечным светом или же плотная тень могут снизить точность определения признаков.

Здесь пара рекомендаций для безопасному эксплуатации:

• Для важных операций всегда внедряйте двухэтапную аутентификацию;
• Не запускайте возможность “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Систематически апгрейдите прошивку смартфона для предотвращения угроз от новых видов атак;
• Включайте настройку “Требовать раскрытых глаз” там, где она имеется.

Где дополнительно применяется технология за исключением смартфонов?

Несмотря на то, что основная мысль данной публикации посвящена именно смартфонам и планшетам, необходимо сказать о прочих направлениях внедрения технологии:

• Управление доступа в офисах и жилых домах;
• Платёжные устройства банков (“Face Pay”);
• Цифровые идентификационные документы современного поколения;
• Системы видеоконтроля городских подразделений;
• Автоматизирование учёта посещаемости школ/вузов;
• Авторизация юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Схожие инициативы развиваются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом изменяется технический процесс в наше время?

Всякий годочек возникают свежие концепции для улучшения уровня работы систем распознавания лиц:

1. Увеличивается разрешение датчиков — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс ошибки;
2. Развиваются нейронные сети — передовые архитектуры типа MobileNetV3 позволяют скоростно осваивать дополнительным особенностям внешности владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Развиваются способы антиспуфинга — теперь телефоны способны различать подлинные анимированные облики от неподвижных фотографий/маскировок по мельчайшим микродвижениям.
4. Интеграция со интеллектуальными приборами — смарт-часы могут самостоятельно заблокировать мобильный телефон, если владелец удалился на значительное расстояние.
5. Проявляются смешанные системы — например совмещающие голосовую аутентификацию + физиономию + отпечаток пальца.

Вот, те тренды очень актуальны на сегодняшний день:

1) Сокращение элементов

Изготовители пытаются сократить габариты прорези (“чёлки”) под сенсоры на дисплее за счёт встраивания маленьких ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для улучшения приватности всё более обработки данных выполняется локально без отправки данных во дополнительный облачный сервис.

3) Упорядочивание стандартов

Google энергично пропагандирует стандарт BiometricPrompt API, с целью чтобы аналогичные площадки, например как Вулкан Платинум, и все Android-программы могли взаимодействовать с любыми видами биометрии унифицированно.

Какое выбрать на сегодня?

В случае если тебе нужна максимальная безопасность данных, подбирайте топовые модели с вмонтированным ИК-проектором или же ToF-сенсором глубины.

• iPhone каждого последних моделей
• Huawei Partner/P серии
• Xiaomi Professional
• Vivo X серии
• Oppo Обнаружить Икс серий.

Если бюджет невелик – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как опциональную опцию комфорта.

Как увеличить практичность работы функции?

Есть несколько советов для тех, кто уже использует разблокировку через лицо:

1. Часто обновляйте свою изображение-шаблон, если кардинально меняется внешность.
2. Не упускайте из виду чистить линзу фронтальной камеры – пятна могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам запускает камеру если вы берёте его в руки.
4. Во время регистрационного процесса старайтесь удерживать голову неподвижно перед объектива без сильного наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от экрана.

Перспективы эволюции технологии

В предстоящие времена можно ожидать появления полностью дистанционных способов распознавания человека сразу по нескольким биометрическим параметрам одновременно: лицо + голос + манера ходьбы + манипуляции руками!

Также предполагается возникновение современных методов защиты приватности – скажем, динамическое корректировка электронного шаблона после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень интересных инноваций нашего периода! Она делает взаимодействие со мобильным устройством удобнее чем когда-либо прежде, и такие аппы, как Вулкан Казино Платинум, могут значительно повысить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как работает эта система в деталях, – сумеете вдумчиво подбирать свой очередной устройство!