Design of computer vision systems for process automation

Abstract

[ES] La visión por computador permite que un ordenador extraiga información de una imagen, al igual que las personas utilzamos la vista para obtener información del entorno. Así que podemos utilizarla para saber cuantas personas hay en un lugar o para saber si un semáforo está en verde o rojo. Su versatilidad ha hecho que se aplique a todo tipo de procesos como puede ser la medicina, industria o agricultura. Junto con su bajo coste, ya que la mayoría de las veces sólo hace falta una cámara para adquirir la información y no se necesita equipamiento extra.

Las principales líneas de investigación de esta tesis han venido dadas por los proyectos y colaboraciones existentes con otras entidades. Por una parte, un proyecto del Ministerio de Economia, Industria y Competitividad ha dado lugar a la línea de investigación centrada en el estudio de la calidad en procesos de fabricación. Por otro lado, la colaboración con la Universidad de Zaragoza a partir de varios Art.

83 ha generado una línea de investigación en la campo de ganadería de precisión y bienestar animal. Durante esta tesis se han generado datasets nuevos que han sido publicados, así como experimentos publicados a través de congresos y revistas científicas.

Para el primero de los problemas considerados -el estudio de la calidad de la superficie de las piezas mecanizadas-, se han considerado dos enfoques diferentes:

técnicas de visión tradicional basadas en descriptores de textura (alcanzando una precisión del 96.2 %) y técnicas de aprendizaje profundo aplicando transfer learning (con una precisión del 93.22 %). La segunda aplicación, sistemas de formación de rebabas, se ha desarrollado con regresión lineal para estudiar la pendiente que forma el borde de la pieza; también se ha utilizado la información del contorno para clasificar las rebabas con un 90,34 % de precisión; finalmente, se delinea el borde de la pieza y se binariza con RUSTICO logrando un 93.20 % de precisión. Centrándonos en la detección de rotura de rebabas, se ha diseñado una red optimizada con el mínimo número posible de parámetros de entrenamiento consiguiendo una precisión del 90.23 %, incluyendo la explicación visual del modelo final con Grad-CAM. En el último de los problemas considerados en este campo, la monitorización del estado de la herramienta, se ha segmentado la zona de desgaste de la para supervisar su estado con un 92 % de precisión.

La línea de investigación relacionada con la ganadería se centra en la ganadería de precisión y en la búsqueda del máximo bienestar animal. Por un lado, se ha planteado la estimación del peso de los corderos mediante sistemas de visión , ya que reduce la interacción del ganadero con el animal y, por tanto, el estrés causado.

Por otro lado, permite el seguimiento del peso para identificar el momento óptimo que resulta útil para los productores de carne. El enfoque propuesto proporciona un sistema basado en la visión con bajos requisitos de hardware, sólo un dispositivo móvil o electrónico con una cámara, en lugar de costosas infraestructuras como el pesaje a pie (WOW). Por otro lado, otro sistema propuesto se ocupa de ayudar a la ganadería basada en los pastos mediante la detección de especies peligrosas. Para ello, se determina la presencia de especies como el lobo ibérico en entornos naturales o lugares de difícil acceso. Así, se pueden reducir los ataques al ganado evitando aquellos lugares donde se encuentran los depredadores. El sistema propuesto puede desplegarse en cámaras fijas cercanas a las zonas de pastoreo o incluso en robots.

Los experimentos de estimación del peso de corderos de raza Rasa Aragonesa, obteniendo una precisión de 0.1 kilos de MAE y 0.98 de R2 utilizando caracterísitcas extraidas del contorno del animal. Además, usando transfer learning se ha conseguido un MAE de 0.59 kilos y un R2 de 0.96. Por último, se ha desarrollado un módulo de visión para el pastoreo con un perro robot (VISORED) ha sido desarrollado para detectar lobos y perros en imágenes -siendo posible adaptarlo a otras especies-; este sistema utiliza YOLOv5 para detectar las especies consideradas con una precisión del 99.17 %.

En conclusión, se han propuesto técnicas de visión por computador tradicionales y otras más recientes basadas en Redes Neuronales Convolucionales que se han aplicado a diferentes campos para resolver diversos problemas existentes. Los resultados obtenidos muestran que permiten automatizar tareas con gran precisión, cumpliendo los requisitos establecidos. A lo largo de esta tesis se han generado nuevos conjuntos de datos que están disponibles públicamente. Además, algunos de los métodos propuestos han sido publicados a través de congresos internacionales y revistas científicas, mientras que otros trabajos presentados están aún a la espera de respuesta.

[EN] Computer vision allows a computer to extract information from an image, just as people use their eyesight to obtain information from their surroundings. So we can use it to find out how many people are in a place or to find out whether a traffic light is green or red. Its versatility has made it applicable to all kinds of processes such as medicine, industry or agriculture. Another advantage is its low cost, since most of the time only a camera is needed to acquire the information and no extra equipment is required.

The main lines of research of this thesis have been given by the existing projects and collaborations with other entities where computer vision techniques are required. On the one hand, a project of the Ministry of Economy, Industry and Competitiveness has given rise to the line of research focused on the study of quality in manufacturing processes. On the other hand, the collaboration with the University of Zaragoza from several Art. 83 research contracts has generated a line of research in the field of precision livestock farming and animal welfare.

The research line on manufacturing processes focuses on the study of the surface of machined parts and tools. The quality processes required in this field make it necessary to have exhaustive control of surface wear. These tasks are usually carried out with specific equipment, such as the roughness meter that calculates the surface profile. Computer vision allows us to acquire information without coming into contact with the elements. Three problems are dealt with during this dissertation:

the study of wear on the surface of machined parts, the formation of burrs in the finishing area of the part and the monitoring of the state of the tool to determine their wear and whether breakage has occurred.

For the first of the considered problems -the study of the surface quality of machine workpieces-, two different approaches have been considered: traditional vision techniques based on texture descriptors (achieving an accuracy of 96.2 %) and deep learning techniques by applying transfer learning (with an accuracy of 93.22 %). The second application, burr formation systems, has been developed with linear regression to study the slope formed by the edge of the workpiece; contour information has also been used to classify burrs with a 90.34 % of precision; finally, the edge of the part is delineated and binarized with RUSTICO achieving a 93.20 % of precision. Focusing on burr breakage detection, an optimized network with the minimum possible number of training parameters has been designed getting an accuracy of 90.23 %, including visual explanation of the final model with Grad-CAM.

In the last of the problems considered in this field, tool condition monitoring, the wear area of the has been segmented to supervise its condition with a 92 % of accuracy.

The research line related to livestock farming focuses on precision livestock farming and the search for maximum animal welfare. On the one hand, the problem of estimating the weight of lambs using computer vision systems has been considered since it reduces the interaction of the farmer with the animal and, hence, the stress caused. It also allows weight monitoring to identify the optimal timing that is useful for meat producers. The proposed approach provides a vision-based system with low hardware requirements, just a mobile or electronic device with a camera, instead of expensive infrastructures such as walk-over weighing (WOW).

On the other hand, another proposed system deals assists pasture-based farming by threat detection. To this extend, the presence of species like the Iberian wolf in natural environments or locations that are difficult to access are determined. So, attacks on livestock can be reduced by avoiding those places where predators are located. The proposed system can be deployed on fixed cameras near the grazing areas or even in robots.

Experiments of weight estimation consider Rasa Aragonesa lambs, obtaining an accuracy of 0.1 kg MAE and 0.98 R2 using features extracted from the animal’s contour. Besides that, using transfer learning a MAE of 0.59 kilos and a R2 of 0.96 are achieved. Finally, a vision module for herding that can be deployed in a Sheepdog Robot (VISORED) has been developed to distinguish between wolves and dogs in images -being possible to adapt it to other species-; this system uses YOLOv5 to detect the considered species with an accuracy of 99.17 %.

In conclusion, traditional computer techniques and more recent ones based on Convolutional Neural Networks have been proposed and applied to different fields to solve several existing problems. The obtained results show that they allow tasks to be automated with high accuracy, fulfilling the established requirements.

During this thesis, new datasets have been generated and are publicly available.

Moreover, some of the proposed methods have been published through international conferences and scientific journals, while other submitted papers are still awaiting a response.