Introducción a la tecnología de imágenes tridimensionales de visión artificial (2)

Luz estructural

La luz estructural, que utiliza un diodos láser (laser diode, ld) o un procesador de luz digital (dlp) para proyectar patrones preestablecidos con estructuras especiales (como manchas discretas, luz de rayas, luz de estructura codificada, etc.) sobre el objeto medido, utiliza otra cámara para observar la deformación del patrón reflejado a través de diferentes alturas del objeto, y si la superficie del objeto medido Es un plano, el patrón de luz estructural observado es similar a la proyección, sin deformación, pero cambia a cierta escala en función de la distancia y la proximidad. Sin embargo, si la superficie del objeto medido es desigual y hay diferencias de altura, el patrón de luz estructural observado se deformará en diversos grados a medida que cambie la altura del objeto medido, y la información de ubicación y profundidad del objeto medido se puede calcular a partir de estas deformaciones.

La imagen de luz estructural generalmente se divide en tres pasos (tomando como ejemplo la tecnología de proyección de rayas):

第1Paso, producción de rayas:A través de la programación informática, se produce una raya sinusoidal, que se proyecta al objeto medido a través de un dispositivo de proyección, se utiliza una cámara LCD para fotografiar el grado de flexión de la raya modular por el objeto, se demodula la raya curvada para obtener la fase, y luego la fase se convierte en la altura de todo el campo. Aquí se utiliza el método de cambio de fase de cuatro pasos, por lo que aquí se generan cuatro rayas con diferencia de fase PI / 2. A continuación, las cuatro rayas se proyectan en tiempo compartido sobre el objeto medido (máscara) y se recogen en la imagen a la izquierda de la imagen de abajo (por supuesto, también cuatro), mientras que se recogen cuatro rayas en el plano de referencia (no moduladas, las mismas cuatro).

Paso 2, recuperación de fase:La fase modulada se calcula a partir de los cuatro patrones de Fringe modulados recogidos, y el patrón de fase obtenido aquí es el mapa de fase truncado, ya que el resultado obtenido por el algoritmo de cambio de fase de cuatro pasos se calcula a partir de la función anti - truncada, por lo que está limitado entre (- pi, pi), es decir, Cada vez que su valor supera ese rango, vuelve a empezar.

Paso 3, reconstrucción 3d:La diferencia de fase se obtiene restando los dos anteriores, que caracterizan la información de altura del objeto medido en relación con el plano de referencia, y luego se sustituye por la fórmula de conversión de fase y altura (en la que los parámetros correspondientes están calibrados) para obtener una imagen de la estructura 3D. la reconstrucción 3D específica depende mucho del soporte del algoritmo, y el algoritmo necesario para el proceso de reconstrucción corporal también es muy complejo.

La tecnología de imagen tridimensional de luz estructural es actualmente la principal forma de percepción visual tridimensional del robot. el sistema de imagen óptica estructural está compuesto por varios proyectores y cámaras. las formas estructurales comunes son: proyector único - Cámara única, proyector único - Cámara doble, proyector único - Cámara múltiple, proyector único - Cámara doble y proyector único - Cámara múltiple.

Tanto la luz estructural como la visión estereoscópica binocular se basan en el principio de triangulación, que requiere una cierta distancia entre la Cámara y el proyector o entre las dos cámaras en la visión binocular, y hay un cierto ángulo a (generalmente superior a 15 °) para lograr la medición, ambos tienen un gran volumen, si la superficie del objeto medido es empinada o si hay escalones, es fácil bloquear.

El sistema de guía visual tridimensional robótico desarrollado sobre la base de la luz estructural y la tecnología de reconocimiento de objetos tridimensionales puede localizar y agarrar completamente las piezas dispersas y apiladas en un amplio rango de medición de profundidad. En comparación con el método tradicional de posicionamiento visual bidimensional, que solo puede identificar las piezas de profundidad fija y solo puede obtener parte de la información de ubicación del grado de libertad de la pieza, tiene una mayor flexibilidad de aplicación y un mayor alcance de detección. Puede proporcionar soluciones automatizadas efectivas para problemas industriales como carga y descarga de máquinas herramienta, clasificación de piezas y apilamiento de paletas.

Hay algunas similitudes entre la tecnología de luz estructural y el triángulo láser, pero el sistema es más complejo y obtiene más información, lo que puede generar nubes puntuales con más detalles. La Cámara óptica estructural es más adecuada para escenas en las que el objeto medido está quieto, mientras que la Cámara triangular láser es más adecuada para el Estado del movimiento del objeto medido, especialmente la cinta transportadora o la línea de transmisión. En escenarios en los que la luz ambiente es compleja o la luz solar directa, las cámaras triangulares láser de alta potencia son más ventajosas. el láser proyecta una luz de longitud de onda muy estrecha. el sensor de imagen puede filtrar la interferencia de la luz ambiente a través de un filtro de banda estrecha. La mayoría de las cámaras de luz estructuradas utilizan fuentes de Luz LED y no hay riesgos de Seguridad. Las cámaras triangulares láser, por su parte, utilizan láseres, lo que representa un riesgo potencial de Seguridad para los ojos. Para los escenarios de aplicación submicron, las cámaras ópticas estructurales son más ventajosas, y las cámaras triangulares láser no pueden alcanzar la precisión submicron debido a la existencia de manchas láser. La Cámara óptica estructural es una imagen tridimensional que se puede completar a la vez en todo el campo de visión, a diferencia de la Cámara triangular láser, que solo puede obtener información de profundidad de la sección medida a la vez. En la aplicación práctica, la Cámara de luz estructural consiste en proyectar luz blanca o azul calibrada con precisión y con una estructura especial sobre el objeto medido, y las estructuras comunes son líneas paralelas, rayas o cuadrículas. Cuando la luz estructural brilla sobre la superficie del objeto medido, la estructura de la luz cambiará con los cambios en la altura y curvatura de la superficie del objeto medido. En el caso de la luz estructural rayada, las rayas se engrosan o adelgazan en la superficie del objeto medido, lo que significa que los puntos de muestreo en estos lugares están relativamente cerca o lejos de la cámara, y los algoritmos de reconocimiento de patrones y reconstrucción tridimensional especialmente diseñados completan la imagen tridimensional en función de la información. Los proyectores de algunas cámaras ópticas estructurales también tienen la función de cámaras RGB para obtener información sobre la textura y el color del objeto medido.

La Cámara óptica estructural zivid del Agente inteligente haoai adopta el diseño de una sola Cámara de un solo proyector, que es similar a la visión estereoscópica binocular activa, pero falta una Cámara. A través de la proyección activa de una fuente de luz estructurada, se agregan artificialmente puntos de característica fácilmente reconocibles al objeto de medición del objetivo. Debido a que la estructura es conocida de antemano y no es aleatoria, la extracción de características tiene una menor cantidad de cálculo, evitando al mismo tiempo el problema del cálculo de correlación. La Cámara óptica estructural de la Cámara única del proyector único, al igual que la Cámara de visión estereoscópica binocular activa, también se enfrenta a los problemas de promedio de bloques, resolución y precisión. Para superar estos problemas, la Cámara de luz estructural zivid introduce luz estructural con codificación de dominio de tiempo y dominio espacial al mismo tiempo. Sin embargo, las cámaras ópticas estructurales, al igual que las cámaras triangulares láser, todavía generan pérdidas de datos y errores de detección para objetos espejo, oscuro o con alta absorción. El siguiente es el contraste de nube de puntos obtenido por la Cámara de luz estructural zivid y la Cámara de visión estereoscópica binocular:

Xiaomi en la versión de exploración transparente de Xiaomi 8publicarCon la tecnología de luz estructural 3D del campo android, oppo luego también utilizó la luz estructural 3D en find X. VivopublicarSe utiliza la tecnología de superinducción TOF 3d, 300000 puntos de medición infrarrojos. El origen de la cantidad de información de profundidad efectiva de TOF es 10 veces mayor que la luz estructural. además de la cantidad de información más alta, la distancia de trabajo de TOF también es mayor que la luz estructural, y la distancia de uso puede alcanzar los 3 metros, alcanzando el triple de esta última.

Triángulo láser

El método de medición del triángulo láser es proyectar la lente de la Cámara y el láser en un cierto ángulo, la fuente de luz láser se proyecta sobre la superficie del objeto medido, generando el contorno de la superficie del objeto, para obtener la imagen tridimensional del objeto medido, el objeto y la cámara deben hacer movimientos relativos para generar varios contornos de La superficie del objeto, y finalmente la Cámara forma estos contornos en una imagen tridimensional. El método consiste en medir el desplazamiento geométrico de una línea cuyo valor está relacionado con la altura del objeto. Es una tecnología de imagen unidimensional basada en el escaneo de objetos. Según la distancia entre el emisor láser y el objeto medido, el punto láser aparecerá en diferentes posiciones del campo de visión de la Cámara. Los puntos láser, las cámaras y los emisores láser forman un camino óptico triangular, por lo que la tecnología a menudo se llama triangulación. La tecnología es sensible a superficies estructuradas o complejas, y algunas líneas láser no se pueden reflejar a la Cámara debido a la oclusión cuando el objeto medido es demasiado alto.

De acuerdo con la relación de ángulo entre el haz incidente y la línea normal de la superficie del objeto medido, el método de triangulación láser se puede dividir en dos tipos: oblicuo y directo. El tipo directo es que el ángulo entre el haz incidente y la línea normal de la superficie del objeto medido es 0. El tipo de proyección oblicua es que el ángulo entre el haz incidente y la línea normal de la superficie del objeto medido es a > 0. Los métodos comunes de disposición directa e Diagonal se muestran en la siguiente imagen:

0。常见的直射式和斜射式布置方式具体如下图所示： '},'attribs':{'0':'*0+f*1*0+2*0+2l'}},'apool':{'numToAttrib':{'0':['author','7199826170790019073'],'1':['abbreviation-data',{'id\':\'ada42032-e80f-47aa-9339-f0446b4f775a\',\'abbr_ids\':\'enterprise_7167327385522552836\',\'is_visible\':1,\'is_first\':1}'],'nextNum':2}},'type':'text','referenceRecordMap':{},'extra':{'channel':'saas','isEqualBlockSelection':true,'pasteRandomId':'7130c64e-2988-4a72-8c56-e4e337338490','mention_page_title':{},'external_mention_url':{}},'isKeepQuoteContainer':false,'isFromCode':false,'selection':[{'id':44,'type':'text','selection':{'start':0,'end':110},'recordId':'L6myd0qeMoEGsaxELDBDBngn'},':'szpayloadMap{},'isCut'-lark-x-data-format='doc-text-highlight-color'-highlight: transparente; margen: 0px; acolchado: 0px; contorno: 0px; anchura máxima: 100%; tamaño de la caja: borde-caja! importante; overflow-wrap: palabra de ruptura! importante; '>

Directo

Tiro oblicuo

A continuación, tomemos como ejemplo el método de triangulación láser para introducir el principio.

Las líneas punteadas rojas, verdes y azules de la imagen de arriba indican que la luz reflejada a diferentes distancias se proyectará en diferentes posiciones de la superficie de imagen de la cámara, calculando la distancia entre el sensor y la superficie del objeto medido en función de estas posiciones. El cambio en la distancia vertical d provocará un cambio en la posición de imagen de la Cámara d '. Se puede ver que el alcance de la medición y la precisión de esta tecnología están restringidos entre sí. Cuanto mayor sea la precisión, menor será el cambio de distancia vertical reflejado en el cambio de desplazamiento en la superficie de imagen de la Cámara. De esta manera, el alcance de los cambios en la posición del objetivo debe ser limitado. A medida que aumenta la profundidad del objetivo, pronto se supera el tamaño físico del sensor de imagen de la Cámara. En el diseño específico del sistema óptico, es necesario sopesar el alcance y la precisión de la medición de acuerdo con las necesidades de medición para lograrBuenoEfecto.

Las cámaras basadas en la triangulación láser están compuestas principalmente por diodos láser (ld), lentes de convergencia, lentes receptoras, sensores de imagen y una unidad de procesamiento de señales. Su camino de luz se muestra específicamente en la siguiente imagen:

• X indica el desplazamiento de la superficie del objeto medido respecto al plano de referencia inicial.

• X 'indica el desplazamiento del objeto medido en el sensor de imagen

• A indica el ángulo entre el haz láser y el eje óptico de la lente receptora

• Beta indica el ángulo entre el eje óptico de la lente receptora y la superficie del sensor de imagen.

• L indica la distancia entre la superficie del objeto medido y la lente receptora.

• L 'indica la distancia entre la lente receptora y la imagen del sensor de imagen

Por su parte, utilizando el principio de un triángulo similar, se puede obtener:

La triangulación láser tiene una resolución y precisión de medición muy altas, su resolución se puede extender a los niveles de milímetros y micras, pero en aplicaciones prácticas está limitada por la distancia lateral entre la Cámara y la fuente de luz láser, y el tiempo de medición es más largo, solo se aplica a mediciones de distancias más cortas. Para las cámaras triangulares láser de Tiro directo, aunque aumentar el ángulo entre el eje óptico de la Cámara y el plano láser puede mejorar la resolución del eje z, a medida que aumenta el ángulo theta, el fenómeno de oclusión óptica se hará cada vez más evidente, especialmente cuando hay altibajos cóncavas y convexos en la superficie del objeto, esta estructura tiene cierta oclusión: las áreas que no pueden ser iluminadas por líneas láser se llaman sombras, y las áreas en las que la Cámara no puede recibir luz reflejada se llaman zonas ciegas.

Si la superficie del objeto medido no es uniforme, además de la oclusión óptica, también puede haber múltiples reflejos.

La siguiente imagen muestra que la luz 1 ocurre cuando la luz incidente se produce en la superficie del objeto.第1Reflejo secundario, la luz 2 es el segundo reflejo de la luz incidente en la superficie del objeto, estas dos luces tienen diferentes posiciones de imagen en el detector.

La siguiente imagen muestra dos reflejos de la luz incidente Roja en la superficie del objeto, que tienen la misma posición de imagen en el detector.

El Zivid 2+ M60

Zivid 2 + M60 del Agente inteligente haoaiEs una cámara 3D + 2d fija robótica de alta resolución para requisitos de resolución, precisión y detallealtoAplicación. Esta cámara es el producto de la Cámara 3D zivid que permite capturar la nube de puntos más clara y densa, con hasta 5.000 puntos por centímetro cuadrado y una precisión de tamaño superior al 99,8%, y todos los objetos se pueden mostrar en su forma real. Para las tareas de montaje que detectan la calidad y la finura, puede observar fácilmente cada detalle, característica y defecto. Las nubes puntuales más asombrosas fueron capturadas en solo 100 milisegundos.

Sobre haoai Intelligence

Haoai Intelligence es un agente profesional de zivid en Alemania en el campo de la visión 3D en china.

¡¡ haoai Intelligence se centra en proporcionar soluciones integrales de visión artificial 3D para ayudar a mejorar el nivel de fabricación inteligente de China y la modernización industrial!

En la actualidad, tenemos un grupo de ingenieros de aplicaciones de visión artificial 3D de alta calidad e ingenieros de investigación y desarrollo de algoritmos, con una capacidad completa de evaluación de proyectos de visión artificial y capacidad de desarrollo de algoritmos básicos subyacentes. ¡¡ nuestra solución general de visión artificial 3D se ha implementado con éxito en baterías de energía, industria automotriz, electrónica de consumo, electrodomésticos blancos, detección de tránsito ferroviario y otros campos, acumulando una rica experiencia en aplicaciones de proyectos de visión artificial 3D y desarrollo de software!

Productos principales inteligentes de haoai: soluciones integrales de visión artificial 3d, incluyendo cámara 3D de luz estructural, Cámara de escaneo de línea láser, sensor de contorno láser de línea 3D sick, Cámara tof, sistema de medición 3D de alta precisión, sistema de posicionamiento de guía visual, sistema de agarre desordenado, etc., que puede realizar funciones como planitud, diferencia de altura, medición de posición, detección de defectos cóncavos y convexos, detección de caminos de pegamento, pulido de robots de guía visual, montaje de posicionamiento de piezas de trabajo de robots de guía visual, agarre desordenado de piezas de trabajo, etc.