ROBOMETRIC - Системы компьютерного зрения

Компьютерное зрение

Мы создаем системы компьютерного зрения для робототехнических комплексов, систем контроля, сервисов сбора и интерпретации фото- и видеоинформации.

Разрабатываемые нами системы выполняют задачи:

  • Поиска, классификации и подсчета объектов в поле зрения;
  • Оценки параметров объектов;
  • Анализа структуры и формы объекта;
  • Выявления отклонений объекта от эталона;
  • Локализации и оценки динамики объектов;
  • Выявления аномалий;
  • Выявления состояний и событий.

Мы применяем математические методы и алгоритмические решения с учетом особенностей конкретной задачи, свойств объектов и среды. Большинство наших систем функционирует на базе ПК-платформ. Такое решение обеспечивает гибкость в сочетании с высокой скоростью вычислений.

Системы способны обрабатывать потоки с нескольких камер одновременно, поддерживать параллельное выполнение процессов, сочетать высокую точность и скорость обработки видеоданных.

Решения могут быть интегрированы в имеющиеся информационные системы за счет поддержки используемых протоколов обмена. Графический интерфейс пользователя системы реализуется с учетом требований к конкретному решению. Модифицируемость и расширяемость системы повышает эффективность ее эксплуатации.

Примеры решений: СТЗ MonRo CashStream

Робототехнический комплекс MonRo CashStream компании Квантум Системс предназначен для повышения эффективности обработки больших объемов наличности в кассовых центрах банков.

В состав комплекса входят:

  • Промышленный робот-манипулятор;
  • Счетно-сортировальные машины;
  • Системы обандероливания;
  • Мобильный транспортный робот;
  • Системы подачи транспортных лотков.

Обработка банкнот в автоматизированном кассовом центре – многостадийный процесс, часть этапов которого требует применения систем компьютерного зрения. В MonRo CashStream используется несколько таких систем, разработанных для решения отдельных прикладных задач.

Задача: проанализировать состояние секций Q-лотков

В начале процесса обработки, банкноты, поступившие в кассовый центр, помещаются операторами в четырехсекционные транспортные контейнеры – Q-лотки. После этого банкноты в Q-лотках поступают на участки пересчета, где автоматически перемещаются роботом-манипулятором в счетно-сортировальные машины. Перед разгрузкой Q-лотков необходимо при помощи модуля компьютерного зрения оценить качество укладки банкнот в каждой секции Q-лотков.

Задача была решена путем разбиения изображений секций Q-лотка на прямоугольные области, с каждой из которых ассоциирован набор признаков приемлемого качества укладки пачек банкнот, при этом линейные размеры областей установлены меньше линейных размеров значимых дефектов укладки. Оценка меры качества укладки производится на основе нейросетевого алгоритма с предварительной обработкой изображения. В случае, если ни в одной из областей дефекты не выявлены, секция Q-лотка считается прошедшей проверку, а содержащаяся в ней пачка банкнот пригодной для загрузки в счетно-сортировальную машину. Для совместимости с управляющей системой роботизированного комплекса интерфейс модуля реализован в виде http-сервера. Обработка запроса анализа состояния поступивших Q-лотков производится в течение 300-400 мс. В качестве источников изображения использованы две камеры видимого спектра, установленные на расстоянии 0.8 м.

Задача: проанализировать состояние reject-кармана
счетно-сортировальной машины

В процессе пересчета банкноты, не прошедшие проверку по одному или более критериев, автоматически направляются счетно-сортировальной машиной в reject-карман, и в дальнейшем пачка таких банкнот забирается из кармана роботом-манипулятором. В случае, если пачка по каким-либо причинам уложена неровно, то возможен ненадежный захват этой пачки при ее изъятии манипулятором. Во избежание этого необходимо проверять состояние reject-кармана до того, как робот-манипулятор начнет перемещение содержащихся в нем банкнот.

Для решения задачи был разработан модуль компьютерного зрения, позволяющий оценивать качество сформированных в reject-кармане пачек, а также обнаруживать не изъятые ранее банкноты и их части. Анализ изображений производится посредством нескольких сверточных нейронных сетей, классифицирующих состояние reject-кармана как [пустой], [наличие_банкнот], либо [выявлена_проблема]. Для повышения качества изображений затенённых частей reject-кармана были установлены дополнительные модули освещения. Из-за наличия в reject-кармане движущихся частей счетно-сортировальной машины, оценка состояния reject-кармана производится на основе анализа последовательности изображений.

Задача: обнаружить банкноты и их части на рабочих поверхностях
и в области пола

В процессе обработки роботу-манипулятору приходится перемещать пачки, содержащие ветхие купюры. Это может привести к рассыпанию пачки или выпадению части ветхих банкнот. Необходимо своевременно выявлять такие события и передать сообщения в управляющую систему комплекса.

Для решения задачи области наблюдения были разбиты на две основные группы: квазистатичные области, изображения которых не изменяются в процессе функционирования комплекса, и области, подверженные изменениям. Для первого типа областей были применены методы поиска отличий изображений по форме, для второго – поиска объектов (купюр и их фрагментов), форма изображения которых заранее известна. Для получения изображений было установлено несколько широкоугольных камер видимого спектра, обеспечивающих обзор каждой из областей с различных ракурсов.

Задача: определить координаты транспортного контейнера
с точностью до 1 мм

Перемещение банкнот между отдельными участками обработки осуществляется мобильными роботами-шатлами. Пачки банкнот помещаются в транспортные контейнеры, затем контейнеры загружаются на борт мобильного робота. Для автоматической разгрузки прибывшего шатла необходимо определить положение установленного на нем контейнера с точностью до 1 мм.

Для решения задачи были выделены характерные элементы транспортных контейнеров, послужившие метками для измерения их координат. Измерения осуществляются при помощи камеры, установленной на высоте 2 м над областью разгрузки. По результатам измерения координат определяются значения смещения и поворота контейнера в плоскости транспортной платформы. В процессе разгрузки результаты измерений передаются в управляющую систему для корректировки траектории робота-манипулятора.

Нейросетевые системы

Ряд задач компьютерного зрения решается нами при помощи систем, строящихся на искусственных нейронных сетях, которые являются моделью зрительной системы головного мозга.

Нейросетевые алгоритмы эффективны во многих задачах компьютерного зрения, связанных с извлечением информации видеопотоков и интерпретации измерений, в случаях, когда изображение объектов и сцены вариативно или зависит от случайных факторов.

Основные особенности нейросетевых решений:

  • Системы изначально обладают формальными чертами искусственного интеллекта, имеют преимущества в условиях, когда классические системы компьютерного зрения не позволяют получать надежные результаты измерений.
  • Системы адаптивны и способны самостоятельно обобщать знания. Наблюдаемые (измеряемые) системами объекты могут быть представлены в произвольных ракурсах, а изображение самой сцены изменяться в условиях различного освещения.
  • Системы устойчивы к помехам и шумам видеопотоков.

На стадии создания нейросетевые системы требуют значительного объема вычислений, а в эксплуатации, как правило, нетребовательны к ресурсам и могут функционировать на том же оборудовании, что и другие системы компьютерного зрения.