Каким способом работает идентификация лицевых образов в смартфонах

Почему мы останавливаемся на разлочивание по фейсу

В последние годы определение лиц превратилось в одной из самых популярных возможностей для разблокировки смартфонов. Еще несколько годов тому назад основная масса использующих довольствовались пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь обуславливает эту конкретную функцию очень нужной? Для начала, это удобно: не нужно помнить замысловатые пароли или искать нужный палец в темноте. Во-вторых, это быстро: современные системы идентифицируют лицо практически за мгновение. В-третью очередь, это чувство футуризма — словно в кинолентах про vulkan platinum агентов.

Тем не менее за такой на первый взгляд легкостью прячется целый универсум комплексных техник и инженерных разработок. Позвольте нам разобраться, как именно функционирует распознавание лиц в современных мобильных телефонах, какие бывают методы, насколько они безопасны и что нас ожидает в будущем.

Краткая история эволюции технологии

Идентификация лиц как методика присутствует уже более пятидесяти лет. Первые эксперименты автоматического изучения лица были осуществлены еще в 1960-х годы в лабораториях США. Тогда компьютеры способны были лишь обозначать силуэты черепа и определять дистанции между глазами и устами на ахроматических фотографиях.

Начальные бизнес системы стали доступны в девяностых годах, но они были неидеальны: действовали неспешно и часто ошибались. Только с развитием синтетических сетей и таких платформ, как Vulkan Platinum, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять личные решения.

Главные стадии работы системы определения

Процесс определения лица можно ориентировочно поделить на несколько ключевых этапов:

Распознавание лица — устройство определяет присутствие человеческого лица в кадре.
Определение особенностей — механизм исследует черты лица: конфигурацию зрительных органов, обонятельного органа, губ, позицию надбровных дуг.
Построение структуры — создаётся неповторимый электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение с образцом — полученный образец сравнивается с сохранённой при внесении биометрической сведениями владельца.
Принятие выбора — если совпадение достаточно значительное, смартфон деблокируется.

Каждый из данных шагов нуждается в специальных процедур и оптимизаций для скорой работы прямо на устройстве.

Аппаратные компоненты: что скрыто внутри них

Обычная фронтальная камера.

Самый легкий метод идентификации лица применяет исключительно переднюю камеру смартфона. Данный метод осуществлён во многих бюджетных вариантах Android-устройств.

Достоинства:

Не нуждается в потребляет внешних датчиков.
Шустро работает при хорошем освещении.

Минусы:

Легко обмануть изображением или видеозаписью.
Неправильно функционирует при плохом освещённости или необычных точках зрения.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс является основой Face ID от Apple.

Каким способом это функционирует:

Точечный проектор отображает на лицо пользователя невидимую решетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
Инфракрасная устройство записывает искривление данной решетки по поверхности физиономии.
Формируется трёхмерная глубинная карта глубины, которая почти неосуществима для фальсификации стандартной фотографией или маской.

Преимущества

Надёжная деятельность даже в полной неосвещённости.
Высокая сопротивляемость к имитациям.
Точность определения свыше 99%.

Добавочные сенсорные устройства

В определённых девайсах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые определяют время движения света до предмета и обратно; Цветные-датчики глубины; специальные световые измерители расстояния для формирования более аккуратной 3D-модели физиономии.

Эти технологии встречаются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный разум в исполнении

Текущие механизмы идентификации лиц немыслимы в отсутствие применения artificial intelligence и машинного обучения. Именно вследствие таким инновациям, как Vulkan Platinum, аппарат в состоянии узнавать владельца даже при метаморфозах внешности: новая причёска, щетина, линзы или макияж не становятся барьером для разблокировки.

Детектирование лиц

В стартовом стадии система необходимо быстро распознать образ лица среди полного снимка с камеры. Для данной цели применяются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может распознавать лицо даже в случае неполном перекрытии (например, шарфом или ладонью).

Определение важных моментов

После идентификации лица устройство, такая как Vulkan Platinum, устанавливает местоположение ключевых точек: уголки глаз, кончик носа, края губ и так далее. Обычно используется от 68 до 128 главных меток на лицевой области.

Данное требуется для нормализации изображения: если пользователь находится с телефон под наклоненным, или повернул головку, программа “выпрямляет” картинку до обычного угла для последующего изучения.

Построение биометрии образца

Далее искусственная сеть строит компактное математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 флоатов.

Такой образец очень затруднительно сфальсифицировать: он не удерживает непосредственно изображение пользователя, а лишь уникальные черты его облика, что делает его совершенным для таких систем, как Вулкан Казино Платинум.

Сравнительный анализ и принятие заключения

В случае, когда человек хочет открыть телефон взглядом, программа воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ запрещается.

Адаптация к трансформациям облика

Увлекательная черта современных систем — возможность самостоятельного обучения. Если вы постоянно разблокируете мобильное устройство с свежей стрижкой или оптикой, программа постепенно обновляет эталонный шаблон вашего облика для улучшения точности функционирования без ухудшения безопасности.

Защита биометрических информации.

Многие клиенты боятся хранить свои биометрические данные на мобильном устройстве из-за угрозы потери данных или взлома гаджета. Некоторые фирмы, вроде Вулкан Казино Платинум, предлагают решения для увеличения сохранности сведений юзеров.

Локальное сохранение: Преимущественно аппаратов хранит биометричные модели исключительно внутри безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают гаджет и недоступны включая производителю.
Шифрование: Все информация хранятся только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих разработчиков не имеют прямого доступа к биометрическим; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Необходимо упомянуть существенную деталь: в случае, если кто-либо сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании реализуют систему защиты от автоматического разблокирования — к примеру, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы определения лиц?

На сегодняшний день можно выделить определить 3 главных способа к реализации этой операции:

Софтверное 2D определение

Применяется только лицевая видеокамера без вспомогательных датчиков глубины. Этот метод встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота реализации; минимальная стоимость; быстрая работа при хорошем освещении.
Минусы: легко одурачить фотографией; нестабильная деятельность ночью; низкая защищенность.

Аппаратное объёмное оцифровка

Использует ИК камеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Плюсы: значительная достоверность; невозможно исказить изображение/видеозапись; стабильная работа в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с ИИ-дополнением

Применяют комбинацию программных методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие товары, например Vulkan Platinum и Google Pixel Face Unlock современных версий, комбинируют фронтальную камеру c ИК датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами чужих устройств.

Иллюстрации применения различных методов

iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в ряду Android.
Samsung Galaxy S10/S20 обеспечивают как софтверное двухмерное распознавание по изображению селфи-камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro задействует набор из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности охраны и ложные сигналы

Несмотря на поразительный успехи техники за недавние годы, идеальных систем пока не существует:

Вероятность подвоха: Бюджетные мобильники легко “разблокируются” высококачественной снимком пользователя либо роликом с дисплея иного гаджета.
Идентичные двойняшки: Даже самые идеальные устройства могут перепутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
Метаморфозы внешности: Резкое снижение веса/набор веса, пластические операции или травмы иногда требуют повторной регистрации биометрии.
Условия съёмки: Яркая освещённость солнцем или же плотная темнота могут уменьшить верность идентификации признаков.

Здесь некоторые рекомендаций по защищённому использованию:

Для важных операций всегда применяйте двухэтапную аутентификацию;
Не активируйте опцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение смартфона для обеспечения безопасности от новых видов атак;
Включайте опцию “Требовать распахнутых глаз” там, где она есть.

В каких местах дополнительно находится применение технология помимо смартфонов?

Несмотря на то, что основная мысль этой статьи посвящена конкретно мобильным устройствам, необходимо сказать о альтернативных областях использования технологии:

Контроль прохода в рабочих помещениях и резиденциях;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Виртуальные идентификационные документы современного поколения;
Комплексы видеомониторинга муниципальных служб;
Автоматизирование отслеживания присутствия образовательных учреждений/вузов;
Аутентификация участников персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через турникет без карты или мобильника! Похожие программы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технология сегодня?

Любой годик возникают свежие идеи для улучшения качества деятельности систем распознавания лиц:

Увеличивается детализация сенсоров — чем больше элементов фиксируется видеокамерой/датчиками глубины, тем меньше риск ошибки;
Развиваются искусственные интеллекты — новейшие структуры типа MobileNetV3 позволяют скоростно адаптироваться к дополнительным особенностям облика владельца прямо на устройстве без отправки данных в облако.
Совершенствуются способы антиспуфинга — теперь мобильные устройства могут различать реальные живые лица от фиксированных снимков/масок по незаметным движениям кожи.
Синхронизация со интеллектуальными приборами — умные часы могут автоматически заблокировать мобильный телефон, если пользователь отошёл далеко.
Появляются гибридные системы — в частности комбинирующие голосовую аутентификацию + физиономию + отпечаток пальца.

Здесь, какие тренды в особенности востребованы на сегодняшний день:

1) Сокращение компонентов

Компании стараются минимизировать величину выреза (“чёлки”) для сенсоры на дисплее за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для повышения приватности всё больше расчётов происходит на месте без передачи информации во сторонний облачный сервис.

3) Унификация стандартов

Google интенсивно продвигает эталон BiometricPrompt API, для того чтобы подобные площадки, как Вулкан Платинум, и каждые Android-приложения были совместимы с всеми формами биометрии единообразно.

Что решить на сегодня?

Если тебе важна максимальная защита данных, остановите выбор на передовые модели со встроенным ИК-излучателем или же ToF-сенсором глубины.

iPhone всех существующих новейших версий
Huawei Companion/P Series линейки
Mix Professional
Vivo X серии
Oppo Find Икс серии.

Если финансы невелик – лучше отдавать предпочтение традиционным средствам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, применять только как второстепенную опцию удобства.

Как улучшить комфорт функционирования функции?

Есть несколько советов для пользователей, кто уже использует разблокировку через лицо:

Часто обновляйте свою фотографию-шаблон, если сильно меняется облик.
Не упускайте из виду чистить объектив передней камеры – разводы могут понизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует камеру как только вы поднимаете его.
При регистрации пытайтесь удерживать голову прямо напротив камеры исключая резкого наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от дисплея.

Возможности развития инноваций

В ближайшие времена можно предвкушать возникновения полностью безконтактных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + речь + манера ходьбы + жесты рук!

Также предполагается возникновение свежих способов обеспечения приватности – к примеру, изменяющееся корректировка цифрового образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень захватывающих технологий нашего времени! Она предоставляет общение со смартфоном проще чем раньше, и такие программы, как Вулкан Казино Платинум, могут в разы улучшить ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как работает эта методика изнутри, – сможете более осмысленно подбирать свой очередной девайс!