Logo Pleamar

SICAPTOR 2.0 – Nuevas tecnologías de visión aplicadas al desarrollo de sistemas estandarizados de monitorización electrónica de la captura total más compactos y flexibles

Programa pleamar

Descripción

En SICAPTOR 2.0 se rediseñará el sistema iObserver con objeto de minimizar su tamaño y aumentar sus prestaciones. A esta nueva versión se le denominará iObserver 2.0. e incorporará las siguientes innovaciones:
1) Se ensayarán nuevos dispositivos de visión disponibles en el mercado que pudieran sustituir la cámara matricial del iObserver: cámaras lineales; cámaras 3D y cámaras inteligentes.
2) Se diseñará un nuevo sistema más compacto, tanto a nivel de sistema de visión como de iluminación, lo más adaptable posible a las diferentes configuraciones de parques de pesca y/o tipos de pesca a fin de maximizar su implementación, trasladando el módulo de procesado (ordenador) al puente del barco.
3) Se automatizará el funcionamiento del iObserver2.0 mediante el uso de información proporcionada por la instrumentación de los barcos, sin intervención humana.
4) Se re-adaptará la sensórica para la captura automática de imágenes para evitar el solapamiento de imágenes y procesamiento innecesario

Ver el proyecto

Linea de actuación:

Ecosistemas marinos

Estado:

Finalizado

Fecha de ejecución:

2020
Instituto de Investigaciones Marinas - CSIC IIM

Los objetivos específicos del proyecto, de carácter técnico, son los siguientes:
O1. Ensayo de nuevas tecnologías de visión y selección de aquella que permita obtener mejores resultados en la identificación
O2. Rediseño del sistema iObserver de cara a su compactación/miniaturización.
O3. Adaptación y re-entrenamiento de los algoritmos de reconocimiento y cuantificación de especies basados en deep learning y redes
neuronales.
O4. Desarrollo de la sensórica para una correcta sincronización del nuevo sistema con la cinta transportadora en los parques de pesca.
O5. Calibración y tuning del nuevo sistema diseñado durante pruebas realizadas a bordo de buques oceanográficos.
O6. Prueba de la eficiencia del nuevo sistema iObserver 2.0 a bordo de barcos pesqueros.

 

En SICAPTOR 2.0 se rediseñará el sistema iObserver con objeto de minimizar su tamaño y aumentar sus prestaciones como dispositivo de referencia para la monitorización electrónica remota de las capturas. Para ello:

1) Se ensayarán nuevos dispositivos de visión disponibles en el mercado que pudieran sustituir la cámara matricial del iObserver: cámaras lineales y cámaras inteligentes.

2) Se diseñará un nuevo sistema más compacto, tanto a nivel de sistema de visión como de iluminación, lo más adaptable posible a las diferentes configuraciones de parques de
pesca y/o tipos de pesca a fin de maximizar su implementación.

3) Se readaptará la sensórica para la captura automática de imágenes para evitar el solapamiento de imágenes y procesamiento innecesaria así como para el funcionamiento autónomo del iObserver 2.0.

4) Se reentrenarán los algoritmos desarrollados en SICAPTOR para su adaptación a los nuevos formatos de imágenes generados por los diferentes dispositivos.

 

Con los resultados del proyecto SICAPTOR 2.0 se concluye que, a pesar de los avances logrados desde sus inicios, siguen existiendo importantes desafíos para garantizar el pleno cumplimiento de los objetivos de la PPC. Entre ellos, se debe mejorar la disponibilidad y calidad de los datos pesqueros, siendo necesarios protocolos y estándares para garantizar que estos datos se compartan sistemáticamente entre todas las entidades pertinentes, incluidos los científicos pesqueros. La digitalización y las herramientas avanzadas aplicadas a la pesca, junto con la información de diferentes sensores, tienen un enorme potencial para optimizar las operaciones de pesca y mejorar nuestra capacidad para recopilar y analizar datos y, en última instancia, apoyar una gestión sostenible de los recursos marinos. En este marco, el objetivo de SICAPTOR 2.0 ha sido realizar un ejercicio de rediseño del sistema EM iObserver, que permita acercarlo al mercado y generalizar su uso por parte de la flota española en el corto-medio plazo:

Se han desarrollado dos dispositivos a partir del sistema iObserver, con una reducción muy significativa de sus dimensiones y peso, facilitando su instalación y uso:

  1. a) iObserver 2.0 Lineal, basado en la nueva cámara lineal.
  2. b) iObserver 2.0 Matricial, basado en las cámaras matriciales reconfiguradas para un trabajo híbrido entre captura lineal y matricial.

En ambos casos, la ubicación del hardware de procesamiento y comunicación se sitúa en el puente (se pueden aprovechar para otras tareas, ya que no requieren de un hardware especializado, lo que implica menores costes), dejando sobre la cinta del parque de pesca la cámara y el sistema de iluminación, cuyo número de focos se ha reducido de cuatro a dos, pero multiplicando la luminosidad por ocho.

Se han realizado mejoras en la sensórica para la captura de imágenes, evitando sobreestimaciones/duplicidades en la cuantificación de la captura mediante dos soluciones:

Un sistema de sensores físicos (encoders) que permiten la perfecta sincronización entre el movimiento de la cinta y la toma de imágenes de los iObserver2.0.

Un sistema software que, a partir de un algoritmo de análisis de flujo creado ad hoc, determina el avance de la cinta y reconstruye las imágenes mediante la captura consecutiva de franjas transversales a la cinta, sin la necesidad de usar los sensores físicos (encoders) en la cinta, siendo de gran utilidad para casos con instalaciones complejas.

Se desarrollaron nuevos algoritmos de identificación y cuantificación de la captura, basados en el seguimiento de objetos, conocidos como MOTS (Multiple Object Tracking and Segmentation), mucho más potentes, debido a que permiten diferenciar más del doble de especies que en SICAPTOR (31 en lugar de 15); trabajan indistintamente con las imágenes del iObserver y de los iObservers 2.0, y el conjunto de test generado tiene un mayor número de imágenes complejas con múltiples peces y solapamiento. Todo ello sin perder capacidad en términos de precisión y sensibilidad total, que alcanzan el 96% y el 92%, respectivamente.

Productos obtenidos en el proyecto:

  • Informes:
    • Nuevo diseño del iObserver2.0, incluyendo comparativas detalladas de los diferentes tipos de cámaras empleadas, sus ventajas e inconvenientes, los requerimientos en cuanto iluminación y trabajos de rediseño de este sistema.
    • Trabajos de adaptación y re-entrenamiento del software desarrollado para la cámara matricial en SICAPTOR, incluyendo comparativas detalladas con la versión inicial en términos de porcentaje de acierto en la identificación y cuantificación de especies, número de individuos empleados en el entrenamiento de cada especie, automatización del equipo, etc.
    • Resultados de la utilización del iObserver2.0 a bordo.
    • Feedback obtenido de los patrones de los diferentes segmentos de la flota de arrastre analizados de las potencialidades de uso, en un entorno de actividad pesquera, de este nuevo dispositivo desarrollado en base a sus características técnicas y de cara a la mejora e implementación real del mismo.
  • Entrevista realizada al coordinador del proyecto, Luis Taboada Antelo, disponible en la web Pleamar.
  • Vídeo sobre la implementación y uso a bordo de buques oceanográficos del iObserver2.0,disponible en el canal de Youtube.
  • Foro en Inteligencia Artificial Aplicada al Sector Pesquero celebrado en el mes de octubre de 2021.
  • Dos artículos en revistas científicas de alto impacto (Q1):
    • On the use of deep learning for fish species recognition and quantification on board fishing vessels.En la revista Marine Policy (Editorial Elsevier)
    • Deep Learning techniques applied to the photo identification of fish individuals of undulate skate (Raja undulata) within a Few-Shot Learning context, en la revista científica Methods in Ecology and Evolution(Editorial Wiley)
  • Cuatro reportajes en revistas sectoriales:
    • Pesca inteligente (Revista Mar – octubre 2020)
    • Las nuevas tecnologías y la interdisciplinaridad marcan el rumbo de la ciencia pesquera (Revista Industrias pesqueras – abril 2021)
    • Datos para gestionar mejor (Revista Mar – febrero 2022)
    • La inteligencia artificial llega a la pesca (Revista Industrias pesqueras – febrero 2022).
  • Celebración de dos jornadas de presentación de resultados. Una en la sede de la Secretaría General de Pesca en Madrid y otra en Vigo.
  • Material de difusión:
    • Cartelería para las jornadas
    • 250 unidades del folleto inicial de presentación del proyecto
    • 250 unidades del folleto final de presentación de resultados
    • 250 libretas y 250 bolígrafos
Instituto Español de Oceanografía (IEO) y Organización de Productores de Pesca Fresca del Puerto y Ría de Marín (OPROMAR)
programa
linea de actuación

SICAPTOR 2.0 – Nuevas tecnologías de visión aplicadas al desarrollo de sistemas estandarizados de monitorización electrónica de la captura total más compactos y flexibles