Copernicus, la iniciativa europea de observación y modelización de la tierra, ofrece sus datos a multitud de personas, organizaciones e institutiones de forma abierta y gratuita a traves de sus servicios de informacion tematica. Concretamente, el servicio de Cambio Climatico de Copernicus cuenta con más de 130 000 usuarios, y ha proporcionado más de 88 000 TBs de datos a traves de su Climate Data Store -portal de acceso a sus datos. Y todo esto en tan solo 4 años, ya que el servicio está operativo desde 2018. Para continuar dando un servicio innovador, y mantenerse en la vanguardia internacional, Copernicus sigue desarrollandose en una segunda fase. Y para ello, contará con nuestra contribución. Todo gracias a un proyecto que actualizará los portales europeos Climate Data Store, del servicio de Cambio Climatico, y el Atmosphere Data Store, del servicio de Vigilancia atmosferica, que proporcionan datos de cambio climático y de calidad del aire, respectivamente. El proyecto está formado por 6 socios repartidos por toda Europea y lo lidera B-Open, una empresa italiana. Este proyecto podrá durar hasta 4 años, y cuenta con un presupuesto de 4 millones de euros.
El objetivo de este proyecto es seguir mejorando el acceso libre y gratuito a los datos climáticos y medioambientales de Copernicus para continuar apoyando las decisiones relacionadas con el cambio climático o calidad del aire. Se trata de dos portales con miles de usuarios diarios, que sirven miles de gigabytes de datos cada día y necesitan adaptarse a nuevas demandas y tecnologías. Las nuevas versiones de los portales adoptarán mayoritariamente tecnologías de código abierto y estarán orientadas para ser compatibles con las demandas de los usuarios, que incluyen tecnologías de Machine Learning, Data Cubes y Notebooks interactivos.
Desde Predictia nos encargaremos de tres aspectos concretos del proyecto: monitorización del sistema, diseñar e implementar un repositorio de observaciones; así como desarrollar un gestor de contenidos y procesos común para los portales. La monitorización es esencial en este tipo de servicios operacionales, puesto que permite vigilar el sistema en tiempo real y tener métricas históricas sobre su rendimiento y funcionamiento. Desde Predictia nos encargamos de implementar un sistema automatizado para garantizar el correcto funcionamiento del servicio y que permita obtener información sobre qué partes de la infraestructura necesitan mejoras de diferente tipo: velocidades de descarga, satisfacción de los usuarios, tiempo de espera para acceder a los datos…
Parte de los datos manejados por la Climate Data Store tienen que ver con datos de observaciones, provenientes de estaciones meteorológicas. La complejidad de estos datos reside en su gran heterogeneidad: hay que integrar datos de fuentes muy distintas, hacerlo todo en un mismo repositorio y conseguir que se organicen de forma homogénea. Además hemos garantizar la calidad de los datos, para lo que hay que pasar un proceso de validación complejo. Para realizar todo esto nos apoyaremos en la Universidad de Viena, otro de los socios europeos del consorcio, especialista en este tipo de datos. Predictia se encargará del diseño e implementación técnica del repositorio de observaciones.
Para garantizar el control de calidad de los datos, desde Predictia implementaremos un sistema que permitirá documentar y gestionar todos los procesos de control de calidad y poner esta información a disposición de los usuarios. Antes de que los datos de los repositorios se hagan públicos, hay un largo proceso: hay contratos específicos que gestionar, pasar un exhaustivo proceso de revisión de calidad… El objetivo es centralizar la gestión de estos procesos, ahorrando tiempo y recursos a Copernicus. Esto permitirá monitorizar el estado de cada proyecto, integrar los datos que generen en los catálogos, gestionar informes internos…
Por último, el proyecto cuenta con el apoyo del Instituto de Física de Cantabria, que dará soporte a OpenStack, el software de gestión de infraestructuras en la nube donde se utilizará el proyecto.
Los servicios de Cambio Climático y de Vigilancia Atmosférica de Copernicus están gestionados por el Centro Europeo de Predicciones a Medio Plazo (ECMWF por sus siglas en ingles), en representación de la Comisión Europea.