LiDAR 2D y cámara de profundidad: análisis y fusión de datos para la diferenciación de objetos

Abstract

[ES] El objetivo de este proyecto es ofrecer un sistema de visión artificial para la detección e identificación de objetos a partir del empleo de un sensor lídar y una cámara de profundidad, basándose en la fusión de los datos procedentes de ambos y sirviéndose del entorno de programación de ROS. Previo al desarrollo de la parte práctica, se presenta el marco teórico introduciendo la visión artificial y se estudian los sensores más empleados en este ámbito, haciendo hincapié en el lídar, la cámara de profundidad, el radar y las combinaciones más recurrentes de estos tres. A continuación, se introduce la fusión de sensores, sus distintas clasificaciones, métodos y algoritmos. Asimismo, se profundiza en el análisis de las tecnologías empleadas: características técnicas y funcionamiento del lídar “RPLIDAR A1M8” y de la cámara de profundidad “Intel RealSense Depth Camera D435”, y se explican los conceptos generales, las herramientas específicas y los diferentes paquetes prediseñados del software utilizado “ROS”, como “YOLO” o “obstacle-detector-fusion”. Tras poner en práctica tres ensayos distintos y abordar los problemas surgidos durante su desarrollo, se concluye que el método óptimo para alcanzar los objetivos propuestos consistiría en una adaptación y combinación de una serie de paquetes prediseñados. De esta manera, se proporciona un resultado final que cumple fielmente con las expectativas, aunque presenta debilidades de precisión y velocidad que se explican por las limitaciones del equipo disponible, sobre todo en la parte correspondiente a la detección de YOLO.

[EN] The aim of this project is to offer an artificial vision system for the detection and identification of objects using a lidar sensor and a depth camera, based on the fusion of data from both and using the ROS programming environment. Prior to the development of the practical part, a theoretical framework is presented introducing artificial vision and studying the most commonly used sensors in this field, focusing on the lidar, the depth camera, the radar and the most recurring combinations of these three. This is followed by an introduction to sensor fusion, its different classifications, methods and algorithms. Furthermore, the technologies used are analysed in depth: technical characteristics and performance of the lidar "RPLIDAR A1M8" and the depth camera "Intel RealSense Depth Camera D435". Likewise, general concepts, specific tools and different pre-designed used packages of the "ROS" software, such as "YOLO" or "obstacle-detector-fusion", are also explained. After implementing three different trials and addressing the problems that arose during their development, it is concluded that the optimal method to achieve the proposed objectives would consist of an adaptation and combination of a number of pre-designed packages. This provides a final result that faithfully meets the expectations, although it shows weaknesses in accuracy and speed that are explained by the limitations of the available equipment, especially in the YOLO detection part.