La arquitectura ELT Medallion en iris360: reducción de costes y datos blindados para la toma de decisiones
Tabla de Contenidos
Escalar proyectos de smart city presenta el reto de gestionar los costes de ingesta de datos y almacenamiento cloud. A esto se suma la necesidad de basar las políticas públicas en información verificada y segura frente a ciberataques. Si bien, ciudades de gran tamaño pueden dedicar recursos a estas partidas, la escalabilidad puede generar cuellos de botella económicos que comprometen la sostenibilidad de cualquier proyecto de digitalización.
Un gigabyte de datos que requiere una base de datos activa ronda los 0,21 $/mesLos proyectos dedicados a la doble transición, verde y digital, requieren de gigas y gigas de datos, por lo que el problema es evidente. Y para ciudades de tamaño medio, esta barrera económica dificulta el avance tecnológico.
Para resolver este cuello de botella económico, iris360 incorpora el modelo ELT Medallion en su arquitectura de datos recudiendo costes asociados al almacenamiento de datos hasta los $0.023 al mes.
Comprender la arquitectura ELT Medallion en iris360
La arquitectura Medallion evoluciona el enfoque tradicional ETL (Extraer, Transformar, Cargar) hacia un modelo estructurado en tres capas progresivas: bronce, plata y oro.
Esta metodología organiza el flujo de la información procedente de fuentes heterogéneas (consumos de agua o electricidad, csv, datos móviles, meteorología, sensores IoT…) para romper los silos y construir conjuntos de datos fiables.
Así se estructura en la plataforma de gobernanza e inteligencia de datos de Libelium, iris360:
- Capa Bronce (Limpieza): Extrae los datos del datalake y ejecuta el procesamiento inicial de limpieza. No sólo elimina los datos erróneos o inservibles, sino que los convierte en objetos, lo que reduce el coste de almacenamiento masivo a unos 0,023 $/GB/mes. Esto no implica que los datos desaparezcan, dado que mantiene el registro histórico inalterable mediante un modelo de adición apto para auditorías.
- Capa Plata (Normalización y calidad): Procesa los datos limpios de la capa Bronce para aplicar la normalización técnica y semántica bajo el estándar NGSI-LD. En esta fase se aplican reglas de tipado estricto, deduplicación y estructuración en tablas que consolidan la "fuente única de la verdad" para analistas y sistemas interconectados.
- Capa Oro (Agregación e inteligencia de negocio): Aplica transformaciones avanzadas mediante la agregación de métricas, extracción de características y ejecución de modelos de entrenamiento. Inyecta en el motor de consulta de iris360 únicamente la información lista para alimentar cuadros de mando, algoritmos predictivos y gemelos digitales.
Un proceso de destilación para obtener los datos clave, también conocidos como la verdad fundamental.
Capa | Estado del dato | Operaciones clave | Uso principal |
Bronze (Raw) | Crudo | Inserción append-only, conservación de esquemas originales, histórico sin modificar. | Auditoría, respaldo y reprocesamiento. |
Silver (Cleansed) | Limpio y validado | Limpieza, deduplicación, tipado estricto, normalización y cruce de tablas. |
|
Gold (Curated) | Agregado / Negocio | Modelado dimensional (Star Schema), cálculo de KPIs, agregaciones por negocio. | "Fuente única de la verdad" para analistas de datos. |
Los beneficios no son sólo económicos al ahorrar costes de mantenimiento, sino que alcanzan a aspectos más amplios, desde ciberseguridad y trazabilidadhasta la mejora de la eficiencia continua del procesamiento de datos:
- Permite volcar millones de eventos por segundo (sensores, logs, clicks) en Bronze a alta velocidad sin procesar de inmediato, desacoplando la ingesta de la transformación.
- Permite separar los fallos de ingesta (en la capa Bronze) de los errores en las reglas de lógica de negocio (en Silver y Gold) sin romper nada.
- Al conservar los datos crudos en Bronze, es posible reconstruir o recomputar todas las capas posteriores si cambian las reglas analíticas sin volver a consultar los sistemas origen.
- Utiliza formatos de almacenamiento moderno (como Delta Lake o Apache Iceberg) para garantizar consistencia y lectura/escritura simultánea sin corromper el dato.
- Reemplaza los complejos pipelines tradicionales ETL por flujos continuos (streaming o batch) donde la estructura se perfecciona paso a paso.
- Garantiza que cualquier departamento acceda a información normalizada, limpia y lista para su uso inmediato, eliminando las barreras técnicas de acceso.
- Sustituye las estimaciones a ciegas por análisis basados en evidencias verificadas, elevando la fiabilidad en la toma de decisiones públicas críticas.
- Rompe las divisiones organizativas al integrar flujos de trabajo coherentes, permitiendo que equipos técnicos y gestores compartan una visión única y veraz de la ciudad.
Ciberseguridad ENS Alta y la ruta hacia la datocracia
Estructurar la información en capas reduce costes y sienta la base del cumplimiento normativo. La arquitectura de iris360 cuenta con la certificación en la Esquema Nacional de Seguridad (ENS) en categoría ALTA en sus 5 dimensiones:
- Autenticidad e integridad: Certifican la certeza del origen del dato y garantizan que las métricas de afluencia o consumo son inmunes a la manipulación externa.
- Confidencialidad y disponibilidad: Cifran la información sensible de la ciudad y aseguran la operatividad 24/7 de la plataforma.
- Trazabilidad: Proporcionan un historial inmutable y auditable de cada evento registrado.
El filtrado en la capa Oro y el blindaje del ENS Alta permiten a los gestores urbanos practicar la datocracia. Las administraciones sustituyen las estimaciones a ciegas por evidencias económicas para dimensionar la capacidad de los centros de salud, ajustar los turnos de policía o planificar la recogida de residuos basándose en la densidad poblacional real.
El caso práctico de Benidorm
Para comprender la verdadera complejidad que hay detrás de una plataforma de datos para ciudades inteligentes, resulta útil observar un despliegue real e igual de complejo.
Hemos hablado antes de que en ciudades de un tamaño más modesto pueden tener problemas con esa ingesta de datos, hasta tal punto de frenar proyectos de digitalización que ayuden a mejorar la habitabilidad de estas ciudades y sus servicios públicos.
Por eso, cuando tuvimos la oportunidad de trabajar con el ayuntamiento de Benidorm para implementar una solución que les ayudara precisamente a calcular cuántas personas viven de manera fija y temporal en su municipio para mejorar sus servicios públicos supimos que la implementación del ETL Medallion iba a ser crucial.
The Benidorm City Council has launched a gemelo digital para conocer con mayor precisión la población flotante de la ciudad y optimizar la gestión de los servicios públicos. Para ello se va a servir de iris360, la plataforma de inteligencia de datos de Libelium.
Este proyecto supone la gestión de múltiples fuentes de datos de diferentes proveedores, incluyendo consumos de energía y agua, indicadores de redes móviles, datos censales y datos meteorológicos, entre otras fuentes de información.
Integrar toda esta información en una única plataforma como iris360 puede convertirse fácilmente no solo en una pesadilla técnica (diferentes formatos, frecuencias de actualización, restricciones de gobernanza y niveles de calidad), sino también en un coste prohibitivo para el presupuesto municipal si cada integración se trata como un proyecto aislado.
Por eso hemos implementado un enfoque ETL Medallion en Benidorm: ingerir del datalake y limpiar rápidamente toda la información en la capa bronce, aplicar la estandarización y validación en la capa plata, y publicar conjuntos de datos seleccionados y listos para su uso en la capa oro. Este ground truth es el dato que tomará la IA de iris360 para entrenar y corregir discrepancias entre la población empadronada y la densidad real de personas en la localidad.
El resultado es un patrón de integración predecible que reduce costes, acelera la entrega y mantiene la capacidad de evolucionar a medida que se añaden nuevos proveedores y conjuntos de datos.
Además, la plataforma iris360 es interoperable con el nodo central de SEGITTUR, por lo que podrá conectarse directamente a la PID de Alicante y a la plataforma SmarREgion de Benidorm para integrar un espectro más amplio de fuentes de datos urbanos, tales como la afluencia en playas o tráfico de vehículos a través de sistemas de computer vision (visión artificial), conectando todas las capas de la ciudad.
La adopción de este modelo dota a las ciudades de herramientas para escalar su capacidad analítica y construir un futuro conectado más eficiente.
El rol de la arquitectura MEdallion en las soluciones de Smart City
Las ciudades inteligentes toman decisiones basadas en datos. Si sus decisiones se van a basar en datos estos deben ser lo más precisos posibles, pero también, seguros y eficientes.. La arquitectura Medallion desempeña un papel fundamental en la generación de esta información al integrar las diversas fuentes de datos de diversos proveedores de datos, tanto externos como internos, al cerebro digital que es la plataforma de smart city.
La clave de este enfoque reside en la capacidad de gestionar grandes volúmenes de datos. Con la arquitectura Medallion, las ciudades pueden recopilar datos de sistemas de tráfico, redes energéticas, redes de agua, monitorización ambiental y servicios públicos en un modelo coherente para su análisis y toma de decisiones sin que ello repercuta en un aumento de costes.
La integración de datos entre diversos actores públicos y privados, facilitada por la arquitectura de iris360, permite resolver casos de uso complejos al eliminar las barreras entre departamentos y proveedores externos para ofrecer servicios fluidos al ciudadano.
- Gestión de emergencias en tiempo real: al conectar sensores IoT (proveedores externos) con sistemas de control de tráfico y flotas de vehículos de emergencia (concejalías internas), el sistema prioriza rutas y semáforos automáticamente, reduciendo drásticamente los tiempos de respuesta.
- Planificación urbana dinámica: combinando datos de redes móviles (empresas externas) con registros de servicios públicos (empresas municipales) y datos censales, la ciudad dimensiona servicios como la gestión de residuos o el transporte según la población real flotante, optimizando los recursos públicos.
- Sostenibilidad ambiental activa: integrando mediciones de calidad del aire (sensores externos), datos de tráfico (departamento de movilidad) y previsiones meteorológicas, los gestores activan protocolos de restricción de tráfico solo cuando es estrictamente necesario, garantizando la eficiencia operativa y el bienestar ciudadano.
Los datos fluyen como lo hacen los ciudadanos.
Además, la flexibilidad de la arquitectura da datos Medallion permite ofrecer servicios personalizados. Al comprender las necesidades de los ciudadanos, las ciudades pueden adaptar los servicios para satisfacer las demandas cambiantes, sin necesidad de rediseñar toda la infraestructura de datos cada vez que aparece un nuevo proveedor o conjunto de datos.
Ciudades inteligentes resilientes y sostenibles con colaboración
En el dual transition of cities (digital and green), Libelium acts as the necessary bridge for cities and providers to join forces, transforming data into real actions that improve public services.
Incluso dentro de la gestión de la propia ciudad, puede haber datos encerrados en silos entre los diferentes departamentos que deben ser integrados en una única plataforma porque los ciudadanos no interactúan de manera aislada con la ciudad, sino que lo hacen de manera fluida. Así pues debe funcionar también la organización de la ciudad. Aquí, la arquitectura ETL Medallion cobra todo el sentido para una colaboración estrecha e interconectada entre distintas dependencias.
El éxito no depende solo de la herramienta, sino de la colaboración estrecha entre quien gestiona la ciudad y quien aporta los datos, rompiendo barreras para trabajar bajo una misma visión.
iris360 permite que esta cooperación sea fluida y constante, asegurando que cada byte de información se traduzca en una mejora medible en nuestra lucha común por un futuro más sostenible.
El futuro de las soluciones de datos para ciudades inteligentes
Las soluciones para ciudades inteligentes como las que ofrece Libelium están transformando los entornos urbanos con una eficiencia sin precedentes. La arquitectura Medallion desempeña un papel fundamental al organizar los datos en capas utilizables que fortalecen la toma de decisiones y la prestación de servicios.
Benidorm ilustra el desafío práctico: coordinar múltiples proveedores y dominios es complejo y costoso si se aborda como un conjunto de integraciones a medida. Un patrón ETL basado en Medallion crea una forma repetible y escalable de incorporar datos a plataformas como iris360 y proporcionar conjuntos de datos confiables para los servicios municipales.
De cara al futuro, la atención debe centrarse en la sostenibilidad, la seguridad y la adaptabilidad. Al aprovechar las ventajas de escalabilidad y gobernanza de la arquitectura Medallion, las ciudades están mejor preparadas para satisfacer las necesidades cambiantes y ofrecer resultados medibles para los ciudadanos.
Behind the Change.
Beyond the Challenge.
English 
Español