<<
>>

Анализ методов и устройств трехмерного технического зрения и методов калибровки

Рассмотрим наиболее типичные представленные в научной литературе методы и устройства вычисления параметров объектов при их наблюдении в пространстве рабочей сцены [2].

Наиболее типичным подходом, применяемым в настоящее время для решения задач трехмерного технического зрения, является подход представленный в работе [3] .

Подход построен по традиционной классической схеме организации бинокулярного зрения. Метод вычисления трехмерных координат объекта согласно данной работе включает следующие основные шаги: калибровку оптико-электронных датчиков, вычисления характерных точек, вычисление координат трехмерных точек и синтез трехмерной модели объекта посредством анализа координат характерных точек. В работе используется модель расположения оптико-электронных датчиков с параллельными оптическим осями. Как уже было отмечено, использование оптико электронных датчиков с параллельными оптическими осями не всегда возможно, особенно для задач анализ объектов рабочих сцен больших промышленных территорий, что является недостатком и ограничением практического применения данной работы.

Известны также работы, связанные с анализом трехмерного восприятия другим подходом, обеспечивающим вычисление координат точек объекта в трехмерном пространстве и базирующийся на использовании специально нанесенных характерных точек на объект. В частности, подобное устройство технического зрения применяется при анализе движений спортсменов и рассмотрено в [4]. Очевидно, что недостатком такой устройства является

обязательное расположение характерных точек на объекте, что не всегда возможно в условиях промышленного предприятия и нецелесообразно экономически.

Отдельного внимания заслуживает публикация [5] в которой представлены новейшие подходы к реконструкции трехмерного пространства для криволинейных поверхностей, как наиболее сложных объектов для вычисления трехмерных координат.

Рассмотрим далее другие известные методы и устрйоства, применимые для решения частных задач трехмерного технического зрения.

Существует способ распознавания объектов [6]. Он заключается в формировании последовательности оптических лазерных сигналов высокочастотных импульсов с фиксированной несущей частотой. При постоянном направлении этих сигналов в область наблюдения они отражаются от движущихся объектов, и, таким образом, можно определить местоположение этих объектов и их скорость. Недостатком этого способа является необходимость в использовании дополнительного оборудования по формированию и направлению сигналов, а, следовательно, это повышает неустойчивость системы и влияет на стоимость.

Заслуживает внимания устройство для распознавания объектов [7]. Оно предназначено для принятия решения о распознавании изображения в сравнении с соседними элементами. Объект, полученный с устройства видеозахвата, сравнивается с эталонным изображением или с базой эталонов, после чего делается вывод об идентичности объектов.

Известен способ обнаружения движущихся объектов [8]. В способе получают набор последовательных во времени изображений и проводят их анализ. По полученному набору изображений строят карту диспарантности, и

по этой карте идентифицируют изменяющиеся объекты. Недостатком данного способа является низкая скорость обработки изображений.

Рассмотрим способ компьютерного распознавания объектов [9], способ позволяет обеспечить идентификацию объектов для малого набора эталонных объектов, тем самым повысить достоверность распознавания [10]. Область распознавания уменьшается в результате выполнения следующих шагов: обработка введенного в компьютер изображения распознаваемого объекта, выявление фрагментов и опорных точек его контура, проводится виртуальный охват фрагментов и опорных точек его контура описанной фигурой, все точки которой сближают с точками контура обрабатываемого изображения объекта до тех пор, пока одни ее точки не совпадут с точками контура обрабатываемого изображения, а другие ее точки не образуют сплошную границу между двумя близлежащими точками контура обрабатываемого изображения, замыкая, таким образом, полностью его контур.

Недостатком данного способа является высокая сложность в реализации и, следовательно - низкая скорость обработки изображений. Еще один недостаток заключается в том, что при наличии шума на изображениях сильно снижается качество обработки, а, следовательно, точность распознавания.

Рассмотрим другую систему распознавания объектов и слежения за ними [11], лишенную данного недостатка. Устройство позволяет получить технический результат в виде создания такой системы, приспособленной для распознавания объектов определённого типа. Этот результат достигается за счёт того, что система имеет матричные датчики, каждый из которых предназначен для выполнения функций датчика первого типа, обеспечивающего возможность обнаружения присутствия объекта в рабочей зоне датчика и определения его положения, и датчика второго типа,

обеспечивающего возможность использования этого положения объекта, определенного датчиком первого типа, для идентификации или распознавания объекта и возможность фокусирования или работы с более высокой разрешающей способностью, чем датчик первого типа. Недостатком данной системы является сложная система обмена информацией между двумя датчиками. Таким образом, ее нецелесообразно использовать в тех случаях, когда задача слежения за объектом не является первостепенной.

Известна система и способ анализа и распознавания объекта [12]. В техническом решении определяют наличие объекта в зоне наблюдения с помощью двух и более разнесенных видеокамер с заранее известным их расположением; производят одновременное слежение за тремя типами объектов (точка, область, граф); на основе априорных и найденных данных реконструируют 3D модель объекта; в случае достаточной полноты и целостности информативных признаков полученной 3D модели проводят расчет углов, определяющих ориентацию объекта в пространстве; в случае, если найденный ракурс является достаточно представительным и отличается от ракурсов на предыдущих кадрах, производят распознавание на основе наиболее репрезентативных кадров изображения.

Известен способ селекции объектов на сложном дистанционно удаленном фоне [13]. Способ заключается в приеме и формировании опорного и сравниваемого изображений двумя идентичными оптическими системами, установленными на небольшом расстоянии между собой относительно удаленного фона, с параллельными главными оптическими осями, и одновременной регистрации обоих изображений. Изображения регистрируют двумя идентичными видеосистемами на основе многоэлементных высокоскоростных фотоприемников, например CMOS матриц, при этом

формируют два разностных изображения, первое из которых формируют вычитанием сравниваемого изображения из опорного изображения, а второе разностное изображение - вычитанием опорного изображения из сравниваемого.

Недостатком данного способа является сложность его реализации, заключающаяся в необходимости одновременного использования нескольких устройств обработки изображения. При этом не рассмотрен случай выхода из строя хотя бы одного из них, что позволяет сделать вывод о неустойчивости системы в целом (обработка изображений напрямую зависит от целостности всех без исключения единиц системы). Кроме того, из-за необходимости использования более одной видеосистемы, показатель стоимости реализации данного способа довольно высокий.

Известен способ распознавания объектов [14], который основан на том, что для анализа после ввода в вычислитель изображения распознаваемого объекта выделяются сегменты и характерные точки его контура, формируются виртуальная 3D огибающая сегментов и характерных точек его контура. Далее производится кластеризация точек контура обрабатываемого изображения объекта и 3D огибающей таким образом, чтобы выделить сегменты совпадающих точек 3D огибающей и контура обрабатываемого изображения, а также сегменты непрерывних линий из распознанных точек распознаваемого изображения. В результате получается замкнутая непрерывная 3D огибающая, которая образует контур распознаваемого объекта. Дальнейшая обработка включает приведение изображения распознаваемого объекта стандартному для данного способа виду - изменяют масштаб, поворачивают в требуемое положение, центрируют, вписывают в прямоугольник, проводят очистку информационного фона на площади между обработанным контуром

изображения и прямоугольником, накладывают шаблоны на область изображения, ограниченную обработанным замкнутым контуром, сравнивают их и распознают.

Известен способ адаптивного распознавания объектов [15]. Он заключается в следующем: формируют эмпирические модели об изображениях возможных распознаваемых объектов на основании априорной информации о параметрах вероятных наблюдаемых объектов; далее формируют имитационную модель для конкретных условий наблюдения на основании априорной информации о конструкции системы наблюдения и о статистических свойствах среды, в которой находится наблюдаемый объект, с учетом шумов и помех; строят на основе имитационной модели и эмпирических моделей алгоритмы соответственно приближенного и точного распознавания; осуществляют приближенное распознавание наблюдаемого объекта с помощью перебора построенных алгоритмов приближенного распознавания путем проверки гипотез, генерируемых имитационной моделью; осуществляют точное распознавание объекта наблюдения на основе решений, отобранных в процессе приближенного распознавания, путем оценки параметров распознаваемого объекта с помощью построенных алгоритмов точного распознавания.

Недостатком данного способа является его сложная реализация. Метод перебора построенных алгоритмов, а также использование имитационной модели, с одной стороны, является залогом высоких показателей точности, однако с другой, реализация такой системы будет требовать больших аппаратных затрат.

Рассмотрим способ помехоустойчивого градиентного выделения контуров объектов на цифровых изображениях [16], как средства для

вычисления ключевых и характерных точек объектов. Он основан на том, что предварительно осуществляют операцию оценивания положения импульсных помех на изображении, после чего формируют четыре вспомогательные маски, а также восемь управляющих векторов (по два вектора на основе каждой вспомогательной маски), затем с использованием данных векторов осуществляют операцию изменения коэффициентов соответствующих четырех разноориентированных масок Превитта. После этого с использованием данных масок вычисляют приближенное значение модуля градиента изображения и путем его порогового преобразования получают контуры объектов на изображении [17].

Недостатком данного способа является его высокая сложность. Использование четырех масок требует существенных аппаратных затрат при реализации этого способа в вычислительном устройстве, причем способ рассчитан только она выделение контуров объектов.

Также проанилизрован и обобщен ряд дополнительных методов и устройств обработки изображений в системах технического зрения (таблица 1.1).

Таблица 1.1 - Сущность, достоинства, недостатки известных методов и устройств трехмерного технического зрения

Источник патентного документа Сущность изобретение Анализ изобретения
Система и

способ

адаптивного

Способ и система адаптивное управление трафиком (движением транспорта) на перекрестке в течение Система работает только в рамках заранее заданных

Источник патентного документа Сущность изобретение Анализ изобретения
контроля заданного периода времени путем шаблонов.
трафика по корректировки одного или нескольких
данным камеры параметров текущей программы
[18]. управления трафиком для получения модифицированной программы

управления трафиком и сохранение модифицированной программы

управления трафиком в базе данных для будущего использования.

Способ Способ включает в себя получение по Система
калибровки меньшей мере двух изображений с обеспечивает
системы помощью камеры, причем каждое из калибровку только
стереозрения с изображений захватывается из другого при возможности
использование положения камеры и содержит перемещении
м одной зеркальный вид камеры и зеркальный камеры
камеры и вид объекта, тем самым получая
плоского

зеркала. [19].

множественные виды объекта.
Способ Способ обеспечивает обработку Способ
выравнивания изображений от камер путем применяется
изображений от преобразования в одномерные только в статичном
камер [20]. интегральные или средние профили относительном
для последующего выравнивания двух положении камер

Источник патентного документа Сущность изобретение Анализ изобретения
или более изображений
Устройство и Предложен оригинальный способ Вычислительный
способ измерения положения стереокамеры в модуль должен
измерения режиме реального времени с быть расположен
положения использованием характерных точек на каждой камере,
стереокамеры. объектов что увеличивает
[21]. требования к
аппаратным
ресурсам
устройства
Система Разработана система технического Недостаток
технического зрения транспортного средства на заключается в
зрения основе использования сенсорных использовании
транспортного матриц различного типа активных модулей
средства [22]. (LIDAR) в составе
системы.
Методы и Предложены методы и системы Недостаток
системы для построения карты глубины с заключается в
высокоточного использованием множества датчиков и значительной
определения последующим определением вычислительной
местоположени положения и ориентации мобильного сложности
я со транспортного средства. системы
значениями

Источник патентного документа Сущность изобретение Анализ изобретения
глубины [23].
Система Описана система обнаружения и Элементы системы
надежного распознавания объектов с движущейся могут быть
распознавания платформы в неблагоприятных использованы для
изображений в визуальных условиях. Система компенсации
неблагоприятн генерирует прогнозируемое изменение, структурного
ых визуальных касающееся изменения окружения шума на
условиях [24]. движущейся платформы в изображениях при
изображении, полученном с построении карты
движущейся платформы глубины
Устройство Предложено оригинальное решение и Ограничением
стереовидения его реализация для наблюдения системы является
в реальном трехмерных сцен в реальном времени возможность
времени [25]. без использования компьютера. использования только двух камер.
Способ Способ предназначен для Основным
автоматической автоматической трехмерной ограничением
трехмерной калибровки цифровой бинокулярной является
калибровки системы технического зрения. необходимость
бинокулярной Ключевой особенностью является использования
системы использование специальной тестовой специальной
технического таблицы, представляющей две мишени тестовой таблицы
зрения и идентичной структуры с набором

Источник патентного документа Сущность изобретение Анализ изобретения
устройство для контрастных точек на плоской
его реализации поверхности, геометрические центры
[26]. которых разнесены на величину стереобазы, с линией, соединяющая геометрические центры мишеней

тестовой таблицы, параллельнй оси, соединяющей геометрические центры объективов видеокамер

Система и Способ включает сегментацию и Недостаток
способ сравнение с обучающей выборкой. способа и
обнаружения Обучение содержит этап определения устройства
неподвижных области в обучающих выборках, заключается в
объектов на потенциально имеющих неподвижный необходимости
изображениях целевой объект, и вычисляют предварительного
[27] расширенную гистограмму внесения в
ориентированного градиента обучающую выборку как

минимум одного неподвижного целевого объекта.

Аппаратно- Алгоритм и устройство оценки Предложенный
ориентированн диспаратности стереокамеры в алгоритм может
ый реальном времени, адаптированный быть использован

Источник патентного документа Сущность изобретение Анализ изобретения
динамически для обработки изображений высокой при расчете
адаптивный четкости. Алгоритм динамически диспарантности
алгоритм адаптирует размер окна с учетом динамически
оценки локальной текстуры изображения для формируемых
диспаратности повышения качества оценки стереопар
и устройство диспаратности.
его реализации
в реальном
времени [28]
Способ и Изобретение относится к устройствам Недостатком
устройство вычислительной техники и может быть устройства
калибровки использовано для калибровки системы использование
системы технического зрения. Отличительной коммерческих
технического особенностью способа и устройства библиотек
зрения [29] является возможность использования машинного зрения
гибких калибровочных таблиц (бумага, (Cognex Vision
полиэтилен) Library)
Способ и Устройство калибровки для Недостатком
устройство многокамерной системы наблюдения устройства является
калибровки транспортного средства включает в необходимость
многокамерной себя множество калибровочных целей, периодического
системы расположенных в области выполнения помещения СТЗ в
технического калибровки. область

Источник патентного документа Сущность изобретение Анализ изобретения
зрения [30]. выполнения
калибровки.
Метод и Изобретение обеспечивает Основным
устройство определение соответствия между ограничением
обнаружения положением камер в реализации метода является
соответствия системы трехмерного зрения, корректная работа
положения имеющей множество камер, на расстояниях 1-
между расположенных в разных ориентациях 20 мм.
камерами в по отношению к объекту рабочей Недостатком
трехмерной сцены устройства
СТЗ [31]. является
требование
наличия как
минимум одной
афинной камеры.
Способ и Изобретение обеспечивает выбор и Недостатком
устройство применение оптимального алгоритма системы является
калибровки обработки изображений с требование
системы использованием возможностей наличия
технического облачных вычислений. Вместе с высокоскоростного
зрения[32]. изображением в облачный канала связи
вычислитель передаются между источником
дополнительные данные, включающие изображения и

Источник патентного документа Сущность изобретение Анализ изобретения
данные состояния окружения камеры, текущей задачи. облачным вычислителем

Далее рассмотрим методы вычисления признаков и сопоставления характерных точек объектов.

1.2

<< | >>
Источник: Фролов Михаил Михайлович. МЕТОД, АЛГОРИТМЫ И МОДУЛЬНОЕ ОПТИКО-ЭЛЕКТРОННОЕ УСТРОЙСТВО ТРЕХМЕРНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ С МНОЖЕСТВЕННЫМИ ИСТОЧНИКАМИ ИЗОБРАЖЕНИЙ. ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук. Курск - 2019. 2019

Еще по теме Анализ методов и устройств трехмерного технического зрения и методов калибровки:

  1. Фролов Михаил Михайлович. МЕТОД, АЛГОРИТМЫ И МОДУЛЬНОЕ ОПТИКО-ЭЛЕКТРОННОЕ УСТРОЙСТВО ТРЕХМЕРНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ С МНОЖЕСТВЕННЫМИ ИСТОЧНИКАМИ ИЗОБРАЖЕНИЙ. ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук. Курск - 2019, 2019
  2. МЕТОД, АЛГОРИТМЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СТРУКТУРНО-ФУНКЦИОНАЛЬНАЯ ОРГАНИЗАЦИЯ ОПТИКО-ЭЛЕКТРОННОГО УСТРОЙСТВА ТРЕХМЕРНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ С МНОЖЕСТВЕННЫМИ ИСТОЧНИКАМИ ИЗОБРАЖЕНИЙ
  3. Структурно-функциональная организация оптико­электронного устройства трехмерного технического зрения с множественными источниками изображений
  4. 2 МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ОБРАБОТКИ ИЗОБРАЖЕНИЙ УСТРОЙСТВОМ ТРЕХМЕРНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ С МНОЖЕСТВЕННЫМИ ИСТОЧНИКАМИ ИЗОБРАЖЕНИЙ
  5. ИССЛЕДОВАНИЕ МЕТОДОВ И УСТРОЙСТВ ВЫЧИСЛЕНИЯ ТРЕХМЕРНЫХ КООРДИНАТ ОБЪЕКТОВ РАБОЧЕЙ СЦЕНЫ
  6. Шляхов Станислав Владимирович. РАЗВИТИЕ И ПРИМЕНЕНИЕ ГЕОМЕТРИЧЕСКИХ МЕТОДОВ К РЕШЕНИЮ НЕКОТОРЫХ ЗАДАЧ ТЕХНИЧЕСКОЙ ТЕОРИИ ПЛАСТИНОК C КРИВОЛИНЕЙНЫМИ УЧАСТКАМИ КОНТУРА. Диссертация на соискание учёной степени кандидата технических наук. Орёл - 2019, 2019
  7. Алгоритм калибровки системы оптико-электронных датчиков в оптико-электронном устройстве
  8. ПРОБЛЕМЫ РАЗВИТИЯ ГЕОМЕТРИЧЕСКИХ МЕТОДОВ РЕШЕНИЯ ЗАДАЧ ТЕХНИЧЕСКОЙ ТЕОРИИ ПЛАСТИНОК
  9. Приближенные методы решения задач технической теории пластинок
  10. 1.2.1 Вариационные методы
  11. 3.2 Метод дифференциальной коноскопии.
  12. Геометрические методы
  13. 3. Понятие и виды методов государственно-управленческой деятельности
  14. Методы вычисления параметров и сопоставления характерных точек объектов
  15. Изопериметрический метод
  16. Развитие метода интерполяции по коэффициенту формы