Каким способом работает распознавание лиц в смартфонах

Зачем мы предпочитаем разлочивание по фейсу

В последние годы распознавание физиономий стало одной из самых популярных опций для разблокировки смартфонов. Лишь пару лет ранее основная часть пользователей довольствовались пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает данную функцию очень нужной? Для начала, это практично: не нужно помнить сложные пароли или находить правильный палец в темноте. Также, это быстро: современные системы узнают лицо буквально за доли секунды. В-третьем пункте, это ощущение футуризма — словно в кинофильмах про адмирал х агентов.

Однако за данной кажущейся несложностью скрывается полный вселенная комплексных техник и инженерных решений. Попробуем понять, как именно функционирует фейсканирование в новейших смартфонах, какие существуют методы, насколько они безопасны и что нас ожидает в будущем.

Сжатая повествование развития инноваций

Распознавание лиц как техника присутствует уже более 50 годов. Первые пробы машинного анализа лиц были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры умели лишь обозначать очертания черепа и определять расстояния между очами и устами на ахроматических изображениях.

Изначальные коммерческие установки появились в 90-х, но они были далеки от совершенства: работали медленно и нередко ошибались. Только с развитием искусственных сетей и таких платформ, как адмирал х, мощных мобильных процессоров распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять свои разработки.

Основные шаги функционирования устройства идентификации

Процесс идентификации лица можно примерно поделить на несколько ключевых этапов:

1. Идентификация лица — устройство распознает наличие людского лица в снимке.
2. Выделение признаков — механизм исследует особенности лица: очертания глаз, обонятельного органа, уст, расположение бровей.
3. Построение шаблона — создаётся неповторимый цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со образцом — созданный модель сопоставляется со зафиксированной при внесении биометрической информацией владельца.
5. Принятие выбора — если соответствие достаточно высокое, смартфон открывается.

Любой из данных этапов запрашивает специальных алгоритмов и улучшений для оперативной работы прямо на устройстве.

Технические компоненты: что находится внутри них

Типичная передняя камера.

Самый легкий вариант определения лица использует только фронтальную видеокамеру мобильного устройства. Данный способ внедрён во многих бюджетных вариантах Android-устройств.

Сильные стороны:

• Не нуждается в требует дополнительные сенсоров.
• Шустро работает при качественном освещении.

Отрицательные стороны:

• Просто одурачить изображением или роликом.
• Неправильно действует при слабом освещении или непривычных точках зрения.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Как это функционирует:

• Точечный устройство проекции отображает на физиономию юзера невидимую сетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 меток).
• ИК камера фиксирует деформацию этой сетки по поверхности лица.
• Получается трехмерная карта глубины глубины, что почти неподвластна для имитации обычной снимком или маской.

Плюсы

• Надёжная функционирование даже в полной тьме.
• Сильная сопротивляемость к подделкам.
• Точность определения выше 99%.

Добавочные сенсорные устройства

В определённых устройствах используются также дополнительные датчики: ToF (Time-of-Flight), которые определяют время распространения света до объекта и обратно; RGB-датчики дальности; специальные оптические измерители расстояния для построения более детализированной 3D-модели лица.

Эти инновации используются в основном во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический ум на работе

Современные механизмы опознания лиц неосуществимы в отсутствие применения искусственного интеллекта и machine learning. Именно из-за таким технологиям, как адмирал х, устройство в состоянии идентифицировать юзера даже при трансформациях облика: новая стрижка, борода, оптика или косметика не становятся помехой для открытия.

Детектирование физиономии

На начальном стадии система необходимо мгновенно распознать образ лица в пределах полного кадра камеры. Для данной цели используются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены находить лиц человека среди множества других объектов.

Пример: метод MTCNN может находить лицо даже при частичном закрытии (например, платком или ладонью).

Определение основных аспектов

После распознавания лица устройство, такая как адмирал х, определяет местоположение главных точек: уголки глаз, конец носа, края губ и так далее. Как правило задействуется от 68 до 128 главных точек на лицевой поверхности.

Это необходимо для стабилизации изображения: если человек удерживает телефон под углом, или склонил голову, программа “выпрямляет” картинку до нормального состояния для последующего изучения.

Создание биометрии образца

Далее искусственная сеть строит уплотненное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Этот образец очень сложно сфальсифицировать: он не сохраняет непосредственно изображение юзера, а лишь уникальные черты его вида, что делает его оптимальным для таких систем, как admiral-x.

Сравнение и принятие решения

Если юзер желает открыть телефон взором, механизм осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно больше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Приспособление к трансформациям облика

Интересная особенность актуальных системы — способность самостоятельного обучения. Если ты регулярно разблокируете мобильное устройство с новой стрижкой или очками, система постепенно обновляет эталонный шаблон вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Безопасность биометрии информации.

Множество юзеры беспокоятся сохранять свои биометрические данные на смартфоне из-за вероятности утечки данных или хакерской атаки. Определенные фирмы, вроде admiral-x, предлагают методы для улучшения защиты сведений клиентов.

• Локальное сохранение: Большинство девайсов сохраняет био-идентификационные модели только внутрь защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из аппарат и не доступны даже изготовителю.

• Шифрование: Все информация сберегаются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Приложения третьих разработчиков не обладают непосредственного возможности доступа к биометрическим; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует упомянуть существенную подробность: если кто-либо сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют меры безопасности от автоматического разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории распознавания лиц на изображениях?

На сегодняшний день можно определить определить три ключевых подхода к осуществлению этой задачи:

Софтверное плоское распознавание

Используется только фронтальная камера без экстра датчиков глубины. Этот метод наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; умеренная затраты; оперативная работа при качественном свете.
Минусы: просто одурачить фотографией; ненадежная функционирование ночью; слабая безопасность.

Техническое 3D сканирование

Использует ИК видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: значительная надёжность; невозможно подделать фото/видео; постоянная функционирование в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Применяют комбинацию программных методов + аппаратно-техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как адмирал х и Google Pixel Face Unlock последних версий, комбинируют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Иллюстрации применения разных методов

• iPhone серии X/11/12/13/14 используют только аппаратное трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID среди Android.
• Samsung Galaxy S10 версия/S20 поддерживают как софтверное 2D определение по фото фронталкой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы защиты и неверные сигналы

Несмотря на впечатляющий развитие инноваций за последние лет, идеальных механизмов пока не имеется:

1. Шанс подвоха: Недорогие смартфоны просто открываются качественной изображением хозяина или видеозаписью с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые безупречные системы могут ошибиться между монозиготными близнецами либо семьями с очень аналогичной внешностью.
3. Трансформации внешнего вида: Стремительное снижение веса/набор веса, хирургические вмешательства либо повреждения порой требуют перерегистрации биометрии.
4. Условия записи: Яркая засветка солнечным светом или же интенсивная темнота могут снизить верность распознавания признаков.

Ниже пара подсказок по безопасному использованию:

• Для важных операций всегда используйте двухфакторную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Постоянно обновляйте прошивку прошивку телефона для обеспечения безопасности от актуальных атак;
• Включайте опцию “Требовать раскрытых глаз” в тех местах, где она доступна.

В каких местах ещё находится применение технология помимо смартфонов?

Пускай тема данной статьи посвящена в частности портативным гаджетам, стоит упомянуть о других сферах применения технологии:

• Управление прохода в офисах и жилых домах;
• Платёжные устройства банков (“Face Pay”);
• Виртуальные удостоверения личности современного поколения;
• Системы видеоконтроля городских подразделений;
• Механизация отслеживания явки школ/институтов;
• Вход пользователей компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или телефона! Похожие инициативы осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как меняется технический процесс в наше время?

Всякий год проявляются свежие концепции для усовершенствования стандарта работы систем распознавания лиц:

1. Увеличивается чёткость датчиков — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше риск погрешности;
2. Улучшаются искусственные интеллекты — передовые структуры вида MobileNetV3 позволяют оперативно адаптироваться к новым чертам вида пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Развиваются технологии антиспуфинга — теперь мобильные устройства умеют отличать подлинные живые лица от фиксированных снимков/маскировок по мельчайшим движениям кожи.
4. Синхронизация со умными устройствами — умные часы могут авто блокировать телефон, если владелец удалился на значительное расстояние.
5. Проявляются комбинированные системы — в частности объединяющие аудио аутентификацию + лицо + отпечаток пальца.

Итак, которые тенденции в особенности популярны на сегодняшний день:

1) Миниатюризация элементов

Производители намереваются уменьшить размер выреза (“чёлки”) под сенсоры на экране за счёт внедрения компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для повышения личной безопасности всё больше обработки данных происходит на месте без передачи данных во дополнительный облачный сервис.

3) Унификация стандартов

Google активно продвигает стандарт BiometricPrompt API, чтобы подобные площадки, как admiral x, и все Android-приложения могли работать с любыми видами биометрии унифицированно.

Какое выбрать сегодня?

Когда вам всем важна предельная защита данных, выбирайте передовые аппараты с вмонтированным ИК-проектором или ToF-датчиком глубины.

• iPhone каждого новейших поколений
• Huawei Partner/P Series серии
• Xiaomi Pro
• Vivo X модели
• Оппо Find X серий.

Если средства невелик – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную возможность комфорта.

Каким способом улучшить практичность использования возможности?

Есть пара советов для пользователей, кто уже применяет разблокировку через лицо:

1. Регулярно обновляйте свою фото-шаблон, если кардинально изменяется облик.
2. Не упускайте из виду чистить объектив передней камеры – разводы могут уменьшить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует фотоаппарат когда вы поднимаете его.
4. При регистрации старайтесь удерживать лицо неподвижно напротив камеры не допуская сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от дисплея.

Будущее эволюции техники

В ближайшие годы можно предвкушать возникновения полностью дистанционных способов опознания человека сразу по нескольким биометрическим параметрам одновременно: физиономия + речь + манера ходьбы + манипуляции руками!

Также возможно возникновение современных подходов охраны личной информации – например, переменное модификация электронного паттерна после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из самых интересных технологий нашего эпохи! Она предоставляет интеракцию со телефоном удобнее чем до этого, и такие аппы, как admiral-x, могут значительно улучшить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как работает эта технология внутри, – будете в состоянии более осмысленно выбирать свой очередной гаджет!