Условия съёмки меняются
Модель обучена при одном освещении, а на линии днём светит солнце в окно. Точность падает на десятки процентов, и виноватой оказывается «плохая нейросеть».
Компьютерное зрение
Камера видит дефект раньше, чем его увидит контролёр
Строим системы машинного зрения для производственных и логистических задач: контроль качества по фото, подсчёт объектов на конвейере, чтение маркировки, контроль спецодежды и зон по видеопотоку. Инференс — на линии или на периферийном устройстве.
Или сразу: +7 (962) 368-39-51 Telegram
mAP
метрика детекции на вашем наборе
30 FPS
обработка потока без пропуска кадров
ONNX
экспорт модели под целевое железо
edge
инференс без передачи видео наружу
Почему проекты машинного зрения пробуксовывают
Основные причины — не в модели, а в условиях съёмки, разметке и требованиях к скорости.
Разметка изображений делается формально
Границы объектов обведены наспех, часть дефектов пропущена при разметке, и модель учится не находить их. Ошибки разметки невозможно исправить архитектурой.
Дефекты редки и разнообразны
За месяц набирается двадцать фотографий брака, и каждый случай уникален. Обучение на таком наборе даёт переобучение: модель запоминает конкретные кадры, а не признак дефекта.
Требования к скорости не учтены заранее
Нужно 30 кадров в секунду на линии, а модель на серверной видеокарте выдаёт восемь. Переделывать приходится всю схему: менять модель, железо и способ передачи видео.
Видео уходит во внешнее облако
Поток с цеховых камер содержит и людей, и технологические секреты. Передача его за пределы предприятия часто неприемлема ни юридически, ни политически.
Ложные срабатывания останавливают линию
Если система контроля бракует хорошую деталь, операторы вскоре отключают её. Порог срабатывания и зона ручного подтверждения должны проектироваться вместе с моделью.
Что мы делаем
От постановки задачи съёмки до серийного инференса на оборудовании заказчика.
Постановка задачи и съёмка
Определяем, что именно должен видеть алгоритм, и проектируем условия съёмки: ракурс, освещение, фон, разрешение, синхронизацию с линией.
- Подбор камер, объективов и осветителей под задачу
- Стабилизация условий: защита от засветки и бликов
- Синхронизация с датчиком прохождения детали
- Пилотный сбор кадров в реальных условиях линии
Разметка и обучение модели
Размечаем кадры по протоколу, контролируем согласованность между разметчиками и обучаем модель детекции или сегментации.
- Инструкция по разметке с примерами пограничных случаев
- Контроль качества: перекрёстная проверка части выборки
- Аугментация под реальные вариации освещения и положения
- Детекция объектов или сегментация областей дефекта
Оценка качества системы
Считаем не только mAP, но и производственные метрики: долю пропущенного брака, долю ложных остановок, стабильность по сменам.
- mAP и точность по каждому типу дефекта
- Проверка на отдельном наборе, снятом в другие смены
- Оценка влияния на такт линии
- Сравнение с точностью ручного контроля
Инференс на оборудовании заказчика
Разворачиваем модель в цеху: на промышленном компьютере, периферийном устройстве или сервере, с ускорением под конкретное железо.
- Экспорт в ONNX, ускорение через TensorRT или OpenVINO
- Квантизация для ускорения без существенной потери качества
- Очередь кадров и батчинг для стабильного FPS
- Локальное хранение только нужных кадров и метаданных
Этапы проекта
Собираем пилотный стенд до разработки модели: без этого невозможно понять, достижима ли нужная точность.
-
01 1–2 недели
Обследование и стенд
Смотрим площадку, выбираем точку установки камеры, собираем временный стенд и снимаем первые кадры реального процесса.
-
02 3–5 недель
Набор данных и разметка
Набираем выборку, включающую редкие дефекты и разные условия освещения, размечаем и проверяем согласованность.
-
03 3–4 недели
Модель и проверка на линии
Обучаем модель, проверяем на отдельном наборе, запускаем теневой режим рядом с ручным контролем и сравниваем результаты.
-
04 3–4 недели
Промышленная эксплуатация
Разворачиваем на целевом железе, подключаем сигнал отбраковки, настраиваем мониторинг и регламент дообучения.
Почему mAP не гарантирует работу на производстве
mAP (mean average precision) — стандартная метрика детекции, но она усредняет качество по всем классам и порогам уверенности. Модель с mAP 0,92 может отлично находить крупные дефекты и почти не видеть мелкие царапины, которые как раз и важны заказчику.
Поэтому мы всегда показываем разбивку метрик по типам дефектов и указываем, при каком пороге уверенности достигается нужный баланс. Для производства ключевыми становятся другие цифры: доля пропущенного брака (сколько дефектных изделий ушло клиенту) и доля ложных срабатываний (сколько годных деталей отправлено на перепроверку).
Сколько изображений нужно для обучения
Для детекции одного типа объекта обычно достаточно 500–1500 размеченных кадров, если условия съёмки стабильны. Число растёт не с количеством объектов, а с их разнообразием: разные ракурсы, освещение, фон, степень загрязнения поверхности.
Редкие дефекты требуют отдельного подхода. Если за месяц набирается двадцать примеров, обучение на них бессмысленно — модель запомнит конкретные кадры. Мы комбинируем подходы: генерация синтетических дефектов, аугментация, методы обнаружения отклонений от нормы (anomaly detection на изображениях), где не требуется примеров брака вообще.
Инференс на периферии против облака
Три причины выносить инференс на периферийное устройство: задержка, надёжность связи и конфиденциальность. Решение по кадру на линии должно приниматься за десятки миллисекунд, а канал до облака такую задержку не гарантирует — особенно в цеху с плохим покрытием.
Современные компактные модели после квантизации работают на промышленном компьютере или модуле с ускорителем, выдавая десятки кадров в секунду. Облако при этом остаётся полезным для сбора статистики, хранения спорных кадров и периодического дообучения — туда уходят не видео, а обезличенные выборки.
Частые вопросы
При стабильных условиях съёмки и качественной разметке реально достичь обнаружения 95–99% дефектов при доле ложных срабатываний в пределах 1–3%. Точность зависит не от архитектуры модели, а от условий: контрастности дефекта относительно фона, освещения и разрешения камеры. Если дефект размером 0,1 мм нужно различать на детали метр на метр, вопрос решается оптикой, а не нейросетью.
Обычно достаточно установить камеру, освещение и датчик прохождения детали, не вмешиваясь в технологический процесс. Сложнее, если требуется физически отбраковывать изделие: тогда добавляется исполнительный механизм и согласование с логикой линии. Мы проектируем систему так, чтобы на первом этапе она работала в режиме подсказки оператору, а автоматическая отбраковка включалась только после подтверждённой точности.
Все случаи пропуска фиксируются с сохранением кадра, и раз в несколько недель мы разбираем их: часть решается дообучением на новых примерах, часть требует изменения условий съёмки — например, дополнительного бокового освещения для теневых дефектов. Пропуски, которые невозможно устранить, документируются: система честно обозначает границы своей применимости, и для этих типов дефектов сохраняется ручной контроль.
Да, при схожих условиях съёмки одна модель обслуживает несколько линий, а инференс разворачивается на каждой площадке отдельно. Если линии отличаются освещением или типом продукции, обучается отдельная модель либо в признаки добавляется идентификатор линии. Централизованно собирается статистика, а обновления моделей распространяются по регламенту с обязательной проверкой на каждой площадке перед включением.
AI-аналитика: другие направления
Смежные задачи, которые обычно решаются в одном проекте с этой.
Какой контроль вы хотите автоматизировать?
Опишите задачу и условия съёмки — оценим достижимую точность, требования к оборудованию и сроки пилота на вашей площадке.