El sector hortofrutícola representa una actividad económica clave en el conjunto del territorio europeo, destacando por su elevada productividad, diversificación y especialización, y por su carácter tractor para el desarrollo sostenible en zonas rurales, en términos de empleo, oportunidades de negocio y emprendimiento. Sin embargo, la globalización de mercados, el aumento de la competencia, la reducción de la rentabilidad, o la falta de mano de obra y de reemplazo generacional, constituyen desafíos importantes, que condicionan su viabilidad y sostenibilidad en el medio y largo plazo.

Con el objetivo de abordar estos retos técnicos, financieros y laborales en este sector, se está desarrollando el proyecto europeo FRUCTHOR-IA, cuyo objetivo principal es mejorar su competitividad y sostenibilidad a través del desarrollo de soluciones de robótica autónoma e Inteligencia Artificial (IA) destinadas a la monitorización de cultivos y al trabajo colaborativo humano-robot.

CATEC está participando en esta iniciativa innovadora como uno de sus socios tecnológicos y beneficiarios del proyecto, aportando su amplia experiencia y conocimiento en robótica autónoma, visión artificial, IA y validación de soluciones tecnológicas en entornos reales. Más concretamente, participamos en el desarrollo de tecnologías avanzadas centradas en el diseño, desarrollo y optimización de soluciones de robótica autónoma para la monitorización de cultivos mediante sistemas autónomos que integran sensores avanzados, IA y análisis de datos.

Los trabajos se están centrando en algoritmos de visión artificial y en el algoritmo de movimiento autónomo de un robot cuadrúpedo, tanto en su trayectoria a lo largo de los cultivos como en el movimiento vertical para la monitorización completa de árboles o plantaciones.

Asimismo, CATEC está llevando a cabo un ensayo piloto en fincas de la comarca de La Vega del río Guadalquivir (en Lebrija, Sevilla), validando la utilización del robot cuadrúpedo autónomo equipado con sensores RGB para la selección del punto óptimo de recolección en colaboración con empresas del sector agrícola local. Este piloto está orientado a cultivos hortofrutícolas de tomate y pimiento, con el objetivo de avanzar en soluciones de monitorización productiva y apoyo a la toma de decisiones en campo.

Avance en tecnologías específicas
Actualmente, desde CATEC estamos trabajando en varios desarrollos tecnológicos. Por un lado, se ha definido una arquitectura software basada en ROS 2 para integrar los distintos bloques funcionales del sistema robótico, y también se ha desarrollado un sistema de interacción humano-robot mediante detección de gestos, utilizando la cámara Intel RealSense del robot Unitree Go2, modelos de detección de pose corporal y manos, y un conjunto de comandos como inicio, parada, cancelación, avance, giro o retorno.

Además, se ha avanzado en una HMI de monitorización de misión, que permite visualizar en tiempo real el mapa de la finca, la ruta planificada y recorrida, la posición del robot mediante GPS-RTK, el estado de la misión y eventos geolocalizados asociados a posibles enfermedades, plagas o estrés hídrico.

Otra línea relevante es la creación de un entorno hortofrutícola realista en Blender e Isaac Sim, basado en cultivos de tomate y pimiento. Este entorno permite simular la navegación del robot y validar algoritmos antes del despliegue en campo, además de servir como base para generar datasets sintéticos. A partir de estos entornos se están generando imágenes RGB, máscaras de segmentación, metadatos, bounding boxes y datos de profundidad para entrenar y validar modelos de detección y segmentación.

En el ámbito de percepción e IA, se han realizado pruebas de segmentación sobre hojas, frutos y tallos, incluyendo ensayos sobre imágenes reales de invernadero y también se están trabajando texturas fotorrealistas de hojas sanas y afectadas por diversas enfermedades relevantes. Todo ello permitirá avanzar hacia la detección temprana de anomalías y la generación de mapas de enfermedad o producción.

Por último, CATEC está trabajando en la integración de visión 2D y 3D mediante cámaras ZED X, con detección de objetos mediante YOLOv8 y proyección sobre nube de puntos para estimar dimensiones y volumen de frutos u otros elementos de interés. De cara al ensayo piloto, el objetivo es integrar los módulos de percepción, navegación, control, HMI y comunicación en el robot Go2, recoger datos reales de los cultivos de tomate y pimiento, y validar el sistema durante la campaña de cultivo.

Como resultado, estas tecnologías podrán contribuir a generar mapas de calor de enfermedad y producción, estimaciones de cosecha y rendimiento por zona, alertas tempranas de focos infecciosos y, a futuro, recomendaciones de actuación vinculadas a riego, tratamiento o prescripción dirigida.

Socios y duración del proyecto
Además de CATEC, en el consorcio del proyecto participan CAR-CSIC (Centro de Automática y Robótica, Consejo Superior de Investigaciones Científicas), como entidad líder, el Instituto Tecnológico de Castilla y León (ITCL), Chambre d’Agriculture de la Dordogne, Conseil Départemental de la Dordogne, Agerpix Technologies SL, École Supérieure des Technologies Industrielles Avancées (ESTIA), Associação de Municípios da Cova da Beira (AMCB), Instituto Politécnico de Bragança – CeDRI, y el Instituto Politécnico de Viseu (ESAV).

FRUCTHOR-IA es un proyecto que cuenta con un presupuesto de 1,7 millones de euros y está cofinanciado por el programa INTERREG VI-B Europa Suroccidental (SUDOE) a través del Fondo Europeo de Desarrollo Regional (FEDER). Tiene una duración prevista de tres años, durante el periodo 2025-2028.

Más información sobre el proyecto en: https://interreg-sudoe.eu/proyecto-interreg/fructhor-ia/