Компьютерное зрение: что это и как работает — на примерах проверки документов, лиц и видео

Компьютерное зрение — область искусственного интеллекта, которая учит программы извлекать смысл из изображений и видео: найти на фото паспорт, прочитать поля, сравнить лицо с фотографией, заметить человека без каски в кадре. Технология уже работает в банках, финтехе, ритейле и на производстве — везде, где эти задачи нужно решать за секунды. Разберём подробно, что такое компьютерное зрение, как оно работает, какие задачи решает и где ошибается — на примерах проверки документов, лиц и видео.

Что такое компьютерное зрение простыми словами

Обработка изображений меняет саму картинку — убирает шум, повышает резкость, поворачивает кадр. Компьютерное зрение делает вывод о содержании картинки — «это паспорт РФ, вот его номер». В реальной системе обработка идёт первым шагом, анализ — вторым.

Машинное зрение (machine vision) — термин, которым традиционно называют промышленные системы: камера на конвейере, контроль брака, фиксированные условия съёмки. Компьютерное зрение — более широкая область: съёмка на телефон, видеопоток, биометрия. Строгой границы между терминами нет, это сложившееся словоупотребление.

Национальная стратегия развития искусственного интеллекта (Указ Президента РФ № 490 от 10.10.2019, п. 5, в ред. от 15.02.2024) называет компьютерное зрение первым в перечне технологий искусственного интеллекта — рядом с обработкой естественного языка, распознаванием и синтезом речи. Это понятия «для целей» самой Стратегии — определение документа стратегического планирования.

Для компьютера фотография — это таблица чисел. Один и тот же паспорт под другим углом, при другом освещении или с бликом даёт другие числа, хотя смысл не изменился. Поэтому «увидеть» для нейросети — значит научиться не обращать внимания на то, что не меняет смысла.

Как работает компьютерное зрение: от пикселей до решения

Изображение — это массив чисел

Пиксель — это яркость по трём каналам RGB, обычно от 0 до 255. Кадр в разрешении Full HD — это около 6 млн чисел (1920 × 1080 × 3). Видео — последовательность кадров, обычно 25–30 в секунду.

Признаки: сначала их придумывал человек

До 2010-х годов инженеры вручную описывали, что именно искать на изображении:

• перепады яркости и контуры;
• прямоугольные признаки, напоминающие базисные функции Хаара, — в детекторе лиц Виолы и Джонса (2001): работал в реальном времени — 15 кадров в секунду на компьютере 2001 года;
• гистограммы направлений градиентов, HOG (Далал и Триггс, 2005), — для поиска людей на фото.

Такой подход ломался при смене света или ракурса.

Нейросети учат признаки сами

Свёрточная нейросеть (CNN) пропускает картинку через слои фильтров: первые слои реагируют на края и пятна, следующие — на углы и текстуры, глубокие — на части объектов: глаз, угол документа, герб.

Идея восходит к опытам Хьюбела и Визеля со зрительной корой кошки (1959), неокогнитрону Фукусимы (1980) и обратному распространению ошибки для чтения почтовых индексов Яна Лекуна с коллегами (1989). С 2020 года рядом со свёртками работают трансформеры (Vision Transformer): картинка режется на фрагменты 16 × 16 пикселей, модель оценивает связи между ними.

Обучение на размеченных примерах

Модель видит тысячи или миллионы изображений с правильными ответами — рамка вокруг документа, текст поля, «один и тот же человек или разные люди» — и подстраивает веса до малой ошибки. Качество зависит от данных не меньше, чем от архитектуры: мало документов страны в наборе — модель ошибается на них чаще.

Ответ — это вероятность, а решение — порог

Модель не говорит «да» или «нет» — она выдаёт уверенность (score). Порог решения выбирает бизнес: выше — система решает сама, ниже — случай уходит к сотруднику. От порога зависит баланс двух ошибок: пропустить чужого и отказать своему. Как эту пару измеряют на практике (FAR и FRR) — в статье «Система распознавания лиц: как работает, точность и где применяется».

Какие задачи решает компьютерное зрение

Под компьютерным зрением на практике — несколько типовых задач.

Реальные продукты редко решают одну такую задачу — обычно они комбинируют несколько. Распознавание документа, например, — это классификация, детекция, OCR и проверка по правилам за один проход.

Краткая история компьютерного зрения: от летнего проекта MIT до нейросетей

Область старше, чем кажется: первые работы начались в 1960-х, а прорыв случился в 2012 году.

Рывок 2012 года дали три вещи сразу: большие размеченные наборы данных, видеокарты (GPU) и глубокие сети. Тот же принцип работает и сейчас: качество модели определяется данными, на которых её учили и проверяли.

Компьютерное зрение в проверке клиентов (KYC)

Удалённая проверка личности построена на компьютерном зрении: клиент присылает фото документа и селфи, система за секунды решает, настоящий ли документ и тот ли это человек. Подробнее о такой проверке — в статье «KYC в 2025 году: как работает идентификация клиентов». Дальше — на примерах платформы компьютерного зрения NeuroVision.

Документы: распознать, прочитать, проверить

Модель определяет страну и тип документа, находит поля и читает их (OCR). Машиночитаемую зону (MRZ) она сверяет по стандарту ICAO Doc 9303: контрольные цифры, совпадение с визуальной зоной. Отдельно ищет признаки подделки и монтажа.

Распознавание документов по данным этой страницы работает более чем с 16 000 типов документов из 195+ стран и территорий, с точностью распознавания полей 99,85 % и занимает около секунды на документ. Как такие системы выявляют подделку — в статье «Как KYC-системы выявляют поддельные документы».

Лицо: сверка селфи с фото в документе

Здесь решается другая задача — сравнение 1:1: модель строит векторы лица по селфи и по документу и сравнивает их. Это разовая сверка в рамках одной проверки, не поиск по базе. Как её измеряют парой FAR/FRR — в статье «Система распознавания лиц: как работает, точность и где применяется». По данным продуктовой страницы точность сверки — 99,74 %, а алгоритм показал лучший результат среди участников из России в тесте NIST FRVT (март 2023).

Liveness: перед камерой живой человек

Отдельная задача — отличить живое лицо от фото на экране, распечатки, маски или повтора видео. Такие попытки называют атаками предъявления. Подробный разбор — в статье «Liveness detection: что это и как работает». По данным продуктовых страниц точность проверки живого присутствия — 99,9 %.

Дипфейки и подмена видеопотока

Компьютерное зрение здесь работает с обеих сторон: генеративные модели создают поддельные лица и видео, а детекторы ищут артефакты синтеза и признаки виртуальной камеры. Подробнее — в статьях «Дипфейк в KYC: детекция подмены лица» и «Как подменяют видеопоток в KYC».

Компьютерное зрение в потоке камер: видеоаналитика

Та же технология работает с обычными камерами наблюдения: модель разбирает кадры сама, а оператор получает событие вместо часов записи. Направление называют видеоаналитикой на базе искусственного интеллекта. Типичные примеры:

• контроль средств индивидуальной защиты (каска, жилет, очки) и опасных зон на производстве — подробнее: контроль СИЗ на производстве;
• подсчёт посетителей и очередей в магазине — обезличенно, только количество людей в кадре, — подробнее: подсчёт посетителей магазина;
• контроль периметра, въезда и распознавание номеров автомобилей;
• поиск нужного фрагмента по архиву записей.

Подсчёт людей и контроль средств индивидуальной защиты не узнают конкретного человека.

Автоматическое узнавание человека по сохранённому шаблону лица — отдельная задача, идентификация, и закон о биометрии (572-ФЗ) регулирует её отдельно от аутентификации. В информационных системах организаций обработка биометрии в целях идентификации — включая сбор и хранение — запрещена, и единственное исключение из этого запрета — сбор биометрии для размещения в Единой биометрической системе в соответствии с федеральными законами (п. 1 ч. 1 ст. 15 572-ФЗ). Идентификация через Единую биометрическую систему возможна в случаях, установленных федеральными законами, актами Правительства и принятыми в соответствии с ними нормативными правовыми актами (ч. 1 ст. 9 572-ФЗ).

Отдельный режим — аутентификация: подтверждение того, что уже предоставленные биометрические данные соответствуют векторам, которые хранятся в Единой биометрической системе, при соблюдении условий ч. 1 и 3 ст. 16 закона (п. 2 ч. 1 ст. 15). Это сверка «один к одному», не поиск нужного лица среди многих.

Есть и третий случай — это граница действия закона, не разрешённый им путь: закон о биометрии не распространяется на идентификацию и аутентификацию, если проверка соответствия биометрии идёт без автоматизации, с участием уполномоченного должностного лица (п. 2 ч. 2 ст. 1). Такую формулировку стоит читать как «закон сюда не дотягивается», не как «закон это разрешает» — при этом закон о персональных данных продолжает действовать. Является ли сотрудник частной охраны «уполномоченным должностным лицом» в смысле этой нормы, сама норма не определяет — вопрос остаётся открытым.

Хранить у себя биометрию для идентификации вне Единой биометрической системы организациям запрещено (п. 1 ч. 1 ст. 15 572-ФЗ). А узнавание человека по лицу без его письменного согласия — вне случаев, которые отдельно называет закон о персональных данных (например, оперативно-разыскная деятельность или противодействие терроризму, ч. 2 ст. 11 152-ФЗ), — нарушает ч. 1 ст. 11 того же закона.

Подробнее о самой Единой биометрической системе — в статье «Единая биометрическая система (ЕБС)».

Сноска: Пересказ норм на 02.11.2026. 572-ФЗ — ст. 1 ч. 2, ст. 15 ч. 1 — в ред. от 28.12.2024; 152-ФЗ — ст. 11 ч. 1 в ред. от 25.07.2011, ч. 2 в ред. от 23.05.2025. Квалификацию конкретной схемы даёт юрист.

Где ещё применяется компьютерное зрение

Компьютерное зрение применяется далеко за пределами проверки клиентов:

• Промышленность — контроль качества на конвейере (machine vision), поиск дефектов, считывание маркировки.
• Медицина — помощь врачу в анализе снимков: рентген, КТ. Решение остаётся за врачом, а такие программы в России регистрируются как медицинские изделия.
• Транспорт — распознавание номеров, разметки и знаков, системы помощи водителю.
• Ритейл — подсчёт посетителей, контроль выкладки, кассы самообслуживания.
• Сельское хозяйство — оценка посевов по снимкам с дронов и спутников.
• Смартфоны — разблокировка по лицу, обработка фото, перевод текста с камеры.

Больше примеров по отраслям — на страницах отраслевых решений.

Ограничения: где компьютерное зрение ошибается

Качество съёмки. Блик, размытие, обрезанный край документа, плохой свет — главная причина повторных попыток съёмки. Подробнее — в статье «Почему пользователи переснимают документы».

Данные обучения и демографические различия. NIST в отчёте NISTIR 8280 (декабрь 2019) показал, что у многих алгоритмов распознавания лиц доля ошибок различается по полу, возрасту и происхождению; величина зависит от алгоритма — точность стоит проверять на своей аудитории.

Враждебные примеры и атаки. Ещё в 2013 году Сегеди с соавторами показали, что малозаметные изменения пикселей способны обмануть нейросеть. В KYC эту роль играют подделки, маски, повтор видео и инъекция видеопотока — поэтому нужны liveness и антифрод.

Дрейф. Меняются камеры, бланки документов и приёмы мошенников. Модель нужно периодически переобучать и перепроверять.

Персональные данные. Изображение лица, по которому устанавливают личность, — биометрические персональные данные (ст. 11 152-ФЗ). Отсюда требования к согласию, хранению и месту обработки.

Как оценить решение компьютерного зрения перед внедрением

Практический чек-лист для того, кто выбирает поставщика:

1. Метрики под задачу. Для детекции и OCR — точность и полнота (precision/recall), доля верно прочитанных полей. Для биометрии — FAR и FRR. Для liveness — APCER и BPCER.
2. Независимые тесты. Для лиц — программа NIST FRTE (до 18 августа 2023 года — FRVT, затем разделена на FRTE и FATE). Для liveness — испытания по ISO/IEC 30107-3 в аккредитованной лаборатории.
3. Пилот на своих данных. Свои документы, камеры, аудитория. Сравнить с текущим ручным процессом.
4. Скорость и нагрузка. Время ответа на одну проверку и поведение при пиковом трафике.
5. Где обрабатываются данные. Облако в России или установка в своём контуре (on-premises) — отсюда требования информационной безопасности и 152-ФЗ.
6. Объяснимость и журнал. Видно ли, почему система отказала: какое поле, какой сигнал, какой порог.

Подробнее о требованиях к поставщику — в статье «Требования к KYC-провайдеру».

Словарь терминов

Частые вопросы

Что такое компьютерное зрение простыми словами?

Область ИИ, где программа по фото или видео понимает, что на нём: находит объекты, читает текст, сравнивает лица. Компьютер работает с числами пикселей. Нейросеть учится находить в этих числах закономерности по множеству размеченных примеров — тысяч или миллионов изображений, для которых заранее известен правильный ответ, — и переносит найденные закономерности на новые, незнакомые ей снимки.

Как работает компьютерное зрение?

Кадр сначала готовят: выравнивают, убирают блики, проверяют резкость. Дальше нейросеть находит объекты и признаки и выдаёт ответ вместе с численной оценкой своей уверенности в нём. Правила отдельно проверяют результат по логике задачи: контрольные цифры, формат дат, совпадение полей. А по заранее выбранному порогу уверенности система решает автоматически или отправляет случай сотруднику — порог задаёт бизнес, исходя из того, какую ошибку он готов допустить.

Чем компьютерное зрение отличается от машинного зрения?

Машинным зрением обычно называют промышленные системы с камерой на конвейере и стабильными условиями съёмки — это сложившееся словоупотребление, строгой границы между терминами нет. Компьютерное зрение — более широкая область: она охватывает и такие промышленные системы, и съёмку на обычный телефон, и видеопоток, и биометрию.

Где применяется компьютерное зрение в бизнесе?

Проверка документов и лиц при удалённой идентификации клиентов, видеоаналитика на производстве и в магазинах, контроль качества на конвейере, распознавание номеров транспорта, анализ медицинских снимков в помощь врачу. Список практических задач при этом гораздо шире и зависит от отрасли.

Насколько точно работает компьютерное зрение?

Единой цифры точности не существует — она зависит от конкретной задачи, данных, на которых обучена модель, и выбранного порога. Для биометрии точность измеряют парой FAR/FRR, для liveness — APCER/BPCER. Сравнивать решения разных поставщиков стоит по независимым тестам (NIST FRTE, ISO/IEC 30107-3) и обязательно проверять на пилоте на собственных данных — своих документах, своих камерах, своей аудитории.

Можно ли распознавать людей по лицу на камерах магазина или офиса?

Подсчёт людей без узнавания конкретного человека — да. В своих информационных системах организациям запрещено автоматическое узнавание по сохранённому шаблону лица, кроме сбора биометрии для размещения в Единой биометрической системе (п. 1 ч. 1 ст. 15 572-ФЗ); там же допустима только сверка «один к одному» с векторами ЕБС при соблюдении условий ч. 1 и 3 ст. 16 — аутентификация, не поиск по базе (п. 2 ч. 1 ст. 15). И вне случаев ч. 2 ст. 11 нужно письменное согласие человека на обработку его биометрии (ст. 11 152-ФЗ).