Всего несколько лет назад возможность создания системы распознавания лиц считалась научной фантастикой, но сегодня эта технология везде — от улиц крупных городов и банковских систем до смартфонов. Но как же она работает? На самом деле главное в этом смысле — правильно поставить вопрос. Не «как работает система», а «как она различает людей» — с точки зрения искусственного интеллекта мы все в принципе похожи. Но если мы отличаем соседа от коллеги, то и ИИ может. Сложность для компьютера заключается в «живости» человека: он может приближаться к камере или отходить от нее, поменять макияж, прическу, выражение лица и так далее. Следовательно, технологию нужно «обучить» различать людей — для этого используются все ваши фото, которые есть в общем доступе. В основном системы распознавания лиц учатся на снимках из социальных сетей. Кто пользуется системой распознавания лиц и для чего? Любопытство вызывает хотя бы тот факт, что рынок технологий, связанных с распознаванием лиц и всевозможного софта, вырастет до 7,7 миллиарда долларов к 2022 году. Такой скачок по сравнению с 2017 годом, например, когда в технологии было всего 4 миллиарда, связан с тем, что распознаванием лиц пользуются практически все виды коммерческих приложений и государственные структуры. Попробуем разобрать на конкретных примерах. • Конечно, лидер в этом списке — производители смартфонов. Первой компанией, которая внедрила функцию распознавания лиц, стала Apple в iPhone X с технологией Face ID. Как утверждают разработчики, шанс разблокировать телефон посторонним человеком — один на миллион. • Сотрудники внутренней безопасности в аэропортах США используют эту технологию для поимки людей с просроченными визами или преступников. Так, например, таможенники в аэропорту Вашингтона смогли поймать в августе 2018 года человека, который пытался попасть в США через подставные документы, выдав себя за другого человека. • Колледжи в штатах используют новую технологию не меньше, чем сотрудники внутренней безопасности. Так или иначе, отправить своего соседа по комнате на финальный экзамен вместо себя шансов не будет, и для этого не обязательно, чтобы профессор знал каждого студента в лицо. • Социальные сети тоже в теме — ярким примером в этом смысле является Facebook. Цукерберг внедрил в сайт алгоритм таким образом, что, когда пользователь загружает фото с друзьями, например, сеть предлагает отметить людей на снимке. Если юзер соглашается, то с 98% точностью Facebook прикрепит ссылки именно на ваших друзей. • Цели маркетологов в данном случае максимально прозрачны — им, как специалистам, необходимо знать как можно больше об аудитории. Скажем, кто чаще всего посещает магазины, где продают диски с фильмами (они все еще существуют, да!). Кто этот среднестатистический покупатель? Сколько ему лет, какого он пола, расы и т.д.? • На некоторые мероприятия не попадешь, дав взятку охраннику. В таких случаях ваш пропуск — в буквальном смысле ваша внешность. На краудфандинговой платформе Kickstarter в 2016 году американцы собрали более 40 тысяч долларов на специальные очки, которые делают их владельца «невидимым» для камер с функцией распознавания лиц — впоследствии их продавали по 1000 долларов за штуку. Однако, многие покупатели, выложившие кругленькую сумму, со временем стали жаловаться, что очки скрывают лицо только под определенным углом по отношению к камере. В самой технологии распознавания лиц также есть свои сложности из-за неидеальных условий — люди ведь не подходят к камерам наблюдения на улицах, чтобы посмотреть в объектив. То есть необходимо работать в реальном времени, чаще всего под углом и с учетом того, что лицо может быть скрыто прической, очками или головным убором. Кроме того, нужно принимать в расчет и условия освещения. Нашла ли место новая технология в России? Ее применяли, да еще как! С сентября 2017 года, например, на улицах Москвы появилось около трех тысяч камер наблюдения, которые были подключены к системе распознавания лиц. Год спустя технологию начали применять и в метро, что дало свои плоды — в мае правоохранители поймали 40 преступников. В 2019 году применение новой системы распространили в аэропортах и в полиции. Так, например, в Шереметьево установили автоматизированный паспортный контроль, который осуществляется благодаря системе распознавания лиц и отпечатков пальцев, а сотрудники столичной полиции протестировали камеры со встроенным алгоритмом. В сентябре в Москве развернулась целая судебная эпопея: власти заказали систему распознавания лиц в целях контроля массовых мероприятий, однако эта инициатива вызвала возмущение у общественников, которые подали иск с требованием признать применение технологии к городским камерам незаконным. В суде не нашли в этом ничего противозаконного, и к январю нынешнего года жители города снова подали иск — причиной стало использование системы на одном из митингов. Самое интересное заключается в том, что применение новой технологии до сих пор не узаконили, т.е. использовать систему распознавания лиц теоретически может кто угодно и в каких угодно целях, так как это не запрещено. Китайцы, например, полагают, что у государства есть все основания на то, чтобы собирать данные о гражданах страны в любом объеме, чем власти и пользуются — в одном из районов Китая алгоритмы используют для наблюдения за этническими уйгурами. В некоторых американских штатах, среди которых есть и Калифорния, обратная ситуация — там приняли билль (мораторий) на применение новой технологии по распознаванию лиц. Правительства стран Европы оказались более договороспособными — там ведется обсуждение временного моратория. Как это работает? Конечно, за счет всевозможных датчиков — изображения с камер фильтруются через алгоритм распознавания лица. Обычно датчик сканирует несколько десятков ключевых точек, расположенных в фиксированных участках лица — иначе говоря, тех, которые сложнее подрисовать или подделать (нос, кости и т.д.). Потом система сравнивает то, что видит, с тем, что уже знает, или с данными в базе. В последние пару лет разработчики применяют нейросетевые алгоритмы, которые «учатся» на наших с вами фотографиях. Итак, как же программа «узнает» вас? Во-первых, алгоритму нужно обнаружить ваше лицо в принципе, будь это фото или видео. Вспомните, как вы фотографируете друга на телефон, и вокруг его лица появляется рамочка автофокусировки. Вспомнили? Вот это то самое обнаружение и есть — с какой-то частью механизма вы уже знакомы. Дальше в ход идет анализ изображения. Теперь система измеряет расстояние между глазами человека, форму подбородка, расстояние между ртом и носом, а потом преобразует все эти данные в цепочку из чисел или точек — это называется «отпечаток лица». Подобная технология используется в Snapchat, когда вы примеряете на себя какую-то маску (или как стать котиком онлайн без смс и регистрации). Система может сбоить, но не критично. Третьим этапом становится уже поиск самой личности, когда система сопоставляет ваше лицо по точкам или саму комбинацию, о которой мы писали выше, с базой данных — здесь все гораздо проще. Если программа не может найти конкретных данных о вас или схожих фото, она ищет по перекрестным ссылкам, чтобы найти вас «у кого-то», скажем, в соцсетях. Впоследствии отображаются результаты, отсортированные по точности. Как обмануть систему распознавания лиц? Три пары очков, парик и длинное пальто — такими фокусами уже никого не обманешь, тем более, алгоритмы. Директор по распространению технологий «Яндекса» Григорий Бакунов провел интересный эксперимент несколько лет назад — ему удалось обмануть системы распознавания лиц за счет нанесения асимметричного макияжа, исказив оригинальные черты лица. Изначально в оригинале макияж анализировал фото и добавлял какие-то фигуры, которые максимально искажали бы лицо, чтобы запутать алгоритмы. В 2010 году похожий вариант предлагал американский художник Адам Харви, который проанализировал самые распространенные погрешности и баги в соответствующих алгоритмах и подобрал несколько вариантов маскировочного макияжа, основываясь на данных из OpenCV, а также скриптах Java и Processing. У команды Бакунова подобных алгоритмов под рукой не было, поэтому ребята хаотично наклеили на лица полосы серебристой и темной изоленты. После этого участники эксперимента усложнили задачу тем, что старались пересечь линиями глаза и другие черты лица на манер KISS и других рокеров. Чтобы окончательно запутать технологию, ребята еще и половину лица закрасили темной краской. Можно пойти и другим путем. Скажем, чтобы «хакнуть» Face ID на iPhone, сгодится хорошо отрисованная маска или 3D-модель лица другого человека. Естественно, чем детальнее прорисованы черты лица нужного персонажа, тем больше шансов, что сим-сим откроется. Подобный эксперимент четыре года назад опробовали студенты из университета Северной Каролины: они создали несколько подвижных масок 3D на основе рандомных фото из Facebook и смогли обойти четыре из пяти алгоритмов, распознающих лица. Есть и «методы-постфактум», среди которых — новый инструмент Fawkes, который устроен таким образом, чтобы обмануть алгоритм распознавания лиц еще до стадии анализа изображения. Суть программы в том, что она просто дорисовывает лишние пиксели к уже существующему портрету. Наш глаз не уловит изменения, а вот системы распознавания лиц их видят, а потому и ошибаются. Fawkes уже удалось таким образом обмануть алгоритмы Amazon, Microsoft и Megvii в 100% случаев.