Cómo evaluar la calidad de los datos

Evaluación y control del Servicio de Cambio Climático de Copernicus

logos for Evaluación y control del Servicio de Cambio Climático de Copernicus

Resumen


El Servicio de Cambio Climático de Copernicus (C3S) tiene como objetivo proporcionar información de alta calidad sobre el clima pasado, presente y futuro en Europa y el resto del mundo. Esto no sería posible sin el rol de Evaluación y Control de Calidad, que se asegura de que estos datos sean accesibles para un amplio espectro de usuarios, al tiempo que moldea la agenda científica para afrontar los desafíos más importantes. Gracias a la ayuda de la evaluación y el control de calidad, los servicios prestados por C3S están actualizados y en continua evolución. Este proyecto se enmarca dentro de las actividades para el control de calidad de los datos de la Climate Data Store (CDS).

En particular, este proyecto intenta desarrollar una solución para que la función de evaluación y control de calidad responda a las necesidades identificadas en contratos anteriores, a través de un proceso regular de participación de los usuarios de Copernicus. El proyecto está liderado por el Barcelona Supercomputing Center e involucra a varias instituciones (y nos encanta ser una de ellas).

Caracteristicas destacadas

  • Evaluación y control de calidad de datos climáticos
  • Tecnologías de Big Data

    Contribuciones

    • Definición de indicadores clave: definir los indicadores clave de rendimiento que señalan un buen funcionamiento del
      servicio es clave. Estas métricas informarán a C3S sobre la calidad general del servicio, lo que les permitirá tomar
      decisiones estratégicas en el futuro. Hemos estado muy involucrados en los debates para seleccionar los indicadores
      técnicos que se adaptan mejor a las necesidades del servicio.
    • Interacción con usuarios: hemos desarrollado los ‘widgets’ de evaluación dentro del CDS, para interactuar directamente
      con los usuarios en puntos clave del uso de la plataforma. Esto permite a C3S obtener información valiosa sobre
      cómo sus usuarios perciben su plataforma y tomar decisiones en consecuencia.
    • Desarrollo de una herramienta de información: Para mostrar los indicadores clave de rendimiento, hemos desarrollado
      un panel que muestra las métricas más útiles, tanto para los usuarios de C3S como para su personal. Permite comparar
      el rendimiento actual con el rendimiento pasado y descargar resultados históricos.
    • Control de calidad: hemos participado en el desarrollo de informes de evaluación de la calidad, una herramienta
      interna que C3S utiliza para asegurar la calidad del CDS.
    • Desarrollo del Sistema de Gestión de Contenidos: hemos creado un Sistema de Gestión de Contenidos que permite a
      todo el proyecto y al C3S crear informes de evaluación de la calidad de forma más sencilla y estandarizada.
    • Automatización de indicadores clave de rendimiento: en el marco del proyecto desarrollamos reKPIlator, un software
      capaz de generar y actualizar más de 80 indicadores de rendimiento de forma automática, partiendo de los millones
      de eventos que el CDS recopila a partir del las interacciones de sus usuarios con la plataforma. También desarrollamos
      rendermeter, una solución adicional, basada en Selenium, que evalúa el rendimiento de las páginas del CDS. De esta
      manera recopilamos la información esencial para que el C3S pueda tomar decisiones estratégicas basadas en datos.

    Más detalles del proyecto, divididos por los diferentes Paquetes de Trabajo (WP, por sus siglas en inglés) se pueden consultar a continuación.

    WP1: Adecuación de los datos de CDS

    El Climate Data Store (CDS) es la piedra angular del C3S, con su contribución a la provisión de conjuntos de datos
    existentes sobre Variables Climáticas Esenciales, análisis climáticos, proyecciones e índices. El CDS ofrece una
    búsqueda basada en la web y basada en API para acceder a todos estos datos climáticos.

    Los conjuntos de datos de CDS deben cumplir con ciertos modelos de datos, convenciones y estándares recomendados por
    ECMWF, es decir, el Modelo de datos común. Estamos involucrados en la planificación y el desarrollo del Data Quality
    Checker: un producto que verifica si esos conjuntos de datos cumplen de hecho con el Modelo de datos común.

    La calidad de la CDS se sirve de unas herramientas llamadas informes de evaluación de calidad. Se crean para recopilar
    información principal sobre todos los aspectos del objeto del cual se va a controlar la calidad (por ejemplo, una
    variable climática esencial) de forma estandarizada y concisa, por lo que los usuarios pueden recibir apoyo a la
    hora de tomar decisiones informadas sobre el uso de múltiples objetos de calidad asegurada. Hemos creado un sistema
    de gestión de contenido que ayuda a desarrollar el contenido de informes de evaluación de calidad.

    WP2: Adecuación de las herramientas de CDS

    La CDS Toolbox es un conjunto completo de software que permite a los usuarios desarrollar aplicaciones personalizadas,
    ayudándoles a descubrir y procesar los datos y productos proporcionados a través de los repositorios de datos del C3S.

    Dentro de este WP, estamos comprometidos con la definición de vocabularios compartidos y prácticas comunes para garantizar
    la coherencia de la información, asegurando la calidad y la guía del usuario para todos los elementos de la CDS Toolbox.

    WP3: Adecuación general del servicio

    Para verificar la idoneidad del servicio en general, se definieron algunos indicadores de rendimiento. Desde Predictia
    hemos establecido un flujo de trabajo por el cual estos indicadores de rendimiento se revisan y actualizan periódicamente,
    de forma completamente automatizada. En este caso, hemos desarrollado un panel web y un sistema de interacción con los
    usuarios de C3S, para recopilar sus comentarios. También informamos sobre la calidad general de los indicadores de rendimiento.

    Explora nuestros proyectos


    Utilizamos cookies para mejorar la experiencia del usuario. Haciendo click en cualquier enlace de esta página estás dando tu consentimiento.