Разработана универсальная модель, отслеживающая опасные действия на производстве

Ученые ИТМО разработали программу, позволяющую автоматически отслеживать действия, которые в том числе могут привести к ЧП на производстве ― например, прием алкоголя или курение на рабочем месте.
В отличие от аналогов, модель способна одновременно распознавать до десяти событий, работает со средней точностью 80% (это выше, чем у одной из лучших открытых моделей «VideoMAE», обученной на тех же данных) и более легковесна ― требует меньше вычислительных ресурсов. Алгоритм уже используется на одном из крупных промышленных производств Пермского края и позволил снизить количество физических проверок в три раза.

По данным Социального фонда России, почти треть несчастных случаев на работе (27,8%) по личной неосторожности сотрудников. Чтобы отслеживать опасные или неправомерные действия на производстве или в общественных местах, используют системы видеонаблюдения. Чаще всего видео с них отсматривают вручную, но метод не идеален: человеку сложно внимательно следить сразу за несколькими экранами достаточно долго, он может устать или отвлечься и пропустить важное событие.

Автоматизировать процесс уже помогают нейросети ― такие решения способны непрерывно фиксировать события и выделять нужное в долгом потоке видеосъемки. Но у каждой есть свои ограничения. Например, модели, представленные на российском рынке для промышленного видеонаблюдения, умеют распознавать только объекты во время съемки (например, людей, наличие касок и масок), но не способны отслеживать действия. Распознавать их умеют открытые зарубежные модели, но пока делают это недостаточно точно: обученные на датасете, собранном сотрудниками ИТМО, алгоритмы правильно распознали действия лишь в 24% случаев (результат VideoMAE) и 48% случаев (результат Hiera).

Специалисты лаборатории компьютерных технологий ИТМО разработали алгоритм под названием ActionFormer, который с точностью 80% распознает сразу десять действий: например, может отследить, когда сотрудник производства курит или принимает пищу на рабочем месте, отвлекается и разговаривает по телефону, без спросу перемещает оборудование и заходит в помещения, где находиться запрещено. Кроме того, разработка помогает предупредить саботаж камер ― когда объектив намеренно пачкают или закрывают, чтобы скрыть запрещенные действия. На многих промышленных предприятиях эти действия считаются нарушением техники безопасности, поскольку нередко могут привести к серьезным последствиям.

Алгоритм, разработанный специалистами ИТМО, состоит из двух моделей, которые анализируют последовательность изображений: одна расставляет скелетные точки на изображениях людей, а другая на их основе классифицирует действия и определяет, где находятся сотрудники предприятия. Информация обо всех неправомерных или потенциально опасных действиях попадает в общую базу данных или сразу передается на интерфейс оператора — в зависимости от требований заказчика.

Вернуться к списку