La arquitectura ELT Medallion en iris360: reducción de costos y protección de datos para la toma de decisiones
La implementación de proyectos de ciudades inteligentes plantea el desafío de gestionar los costos de la ingestión de datos y el almacenamiento en la nube. Además, es necesario basar las políticas públicas en información verificada y segura contra ciberataques. Si bien las grandes ciudades pueden dedicar recursos a estas áreas, la escalabilidad puede generar congestiones económicas que comprometan la sostenibilidad de cualquier proyecto de digitalización.
Un gigabyte de datos que requiere una base de datos activa cuesta alrededor de $0,21 al mes.. Los proyectos dedicados a la transición dual, verde y digital, requieren gigabytes y gigabytes de datos, por lo que el problema es evidente. Para las ciudades de tamaño medio, esta barrera económica dificulta el progreso tecnológico.
Para resolver este obstáculo económico, iris360 incorpora el modelo ELT Medallion en su arquitectura de datos para optimizar los procesos al tiempo que Reducción de los costos asociados con el almacenamiento de datos hasta $0,023/mes.
Entender la arquitectura del ELT Medallion en iris360
La arquitectura ELT Medallion evoluciona el enfoque tradicional de ETL (Extract, Transform, Load) convirtiéndolo en un modelo estructurado en tres capas progresivas: bronce, plata y oro.
Esta metodología destila el flujo de información procedente de fuentes heterogéneas (consumo de agua o electricidad, CSVs, datos móviles, meteorología, sensores IoT) para romper los silos y crear conjuntos de datos fiables.
Así se estructura la plataforma de gobernanza y inteligencia de datos de Libelium, iris360:
- Capa de bronce (limpieza): Extrae datos del datalake y ejecuta el proceso de limpieza inicial. No solo elimina los datos erróneos o inútiles, sino que los convierte en objetos, reduciendo el coste del almacenamiento masivo a aproximadamente $0,023 GB/mes. Esto no significa que los datos desaparezcan, ya que mantiene un registro histórico inalterable mediante un modelo de append-only adecuado para auditorías.
- Capa de plata (normalización y calidad): Trata los datos limpios de la capa Bronce para aplicar la normalización técnica y semántica de acuerdo con el estándar NGSI-LD. En esta fase se aplican reglas de tipificación estrictas, deduplicación y estructuración en tablas, consolidando la “única fuente de verdad” para los analistas y los sistemas interconectados.
- Capa de Oro (Agregación e Inteligencia de Negocios): Aplicación de transformaciones avanzadas mediante la agregación de métricas, la extracción de características y la ejecución de modelos de entrenamiento. Inyecta en el motor de consulta iris360 solo la información necesaria para alimentar dashboards, algoritmos predictivos y simulación digital.
Un proceso de destilación para obtener los datos en formato dorado, también conocido como la verdad de los hechos.
Layer | Estado de los datos | Operaciones clave | Usos principales |
Bronce (Sin procesar) | Ingestión directa sin procesar | Inserción de datos solo para añadir, preservación de esquemas originales y historial no modificado. | Auditoría, respaldo y repetición del proceso. |
Plata (Se limpió) | Limpio y validado | Limpieza, deduplicación, escritura estricta, normalización y unión de tablas. |
|
Oro (Seleccionado) | Agregado / Empresarial | Modelado dimensional (estrato de estrellas), cálculo de KPI, agregaciones empresariales. | Tablas de mando de BI, análisis ejecutivo y modelos de ML. |
Los beneficios no solo son económicos en términos de ahorro en los costes de mantenimiento, sino que alcanzan aspectos más amplios: desde Ciberseguridad y trazabilidady para mejorar la eficiencia continua del procesamiento de datos:
- Permite descargar millones de eventos por segundo (sensores, registros, clics) a Bronze a gran velocidad sin procesarlos inmediatamente, desconectando la ingestión de datos de la transformación.
- Permite separar los fallos de ingestión (en la capa Bronce) de los errores en las reglas de lógica empresarial (en las capas Plata y Oro) sin que esto afecte a nada.
- Al conservar los datos en bruto en Bronze, es posible reconstruir o recalcular todas las capas posteriores si cambian las reglas analíticas, sin tener que consultar los sistemas de origen de nuevo.
- Utiliza formatos de almacenamiento modernos para garantizar la coherencia y la lectura/escritura simultáneas sin dañar los datos.
- Reemplaza los complejos sistemas ETL tradicionales con flujos continuos (streaming o batch), donde la estructura se perfecciona paso a paso.
- Esto garantiza que cualquier departamento acceda a información normalizada y limpia, lista para su uso inmediato, eliminando las barreras técnicas de acceso.
- Reemplaza las estimaciones basadas en la intuición con análisis basados en pruebas verificadas, aumentando la confiabilidad en la toma de decisiones públicas cruciales.
- Rompe las divisiones organizativas al integrar flujos de trabajo coherentes, permitiendo a los equipos técnicos y a los gerentes compartir una visión única y veraz de la ciudad.
La ciberseguridad de ENS y el camino hacia la datocracia
La estructuración de la información en capas reduce los costos y sienta las bases para el cumplimiento normativo. La arquitectura iris360 cuenta con la certificación de Categoría alta del Esquema de Seguridad Nacional (ENS) en sus 5 dimensiones:
- Autenticidad e integridad: Certifican la certeza de la procedencia de los datos y garantizan que las métricas de flujo o consumo estén inmunes a manipulaciones externas.
- Confidencialidad y Disponibilidad: Encriptan la información confidencial de la ciudad y garantizan la operativa del sistema las 24 horas del día, los 7 días de la semana.
- Rastreabilidad: Proporcionan una historia inmutable y verificable de cada evento registrado.
La filtración en la capa Oro y el blindaje de ENS de alto nivel permiten a los administradores urbanos practicar la “datocracia”. Las administraciones sustituyen las estimaciones ciegas por pruebas económicas para dimensionar la capacidad de los centros de salud, ajustar los turnos de la policía o planificar la recogida de residuos en función de la densidad real de la población.
El caso de Benidorm
Para comprender la verdadera complejidad que hay detrás de una plataforma de datos para ciudades inteligentes, es útil observar un despliegue real y igualmente complejo.
Ya mencionamos anteriormente que las ciudades de tamaño mediano pueden tener problemas con la ingestión de datos, hasta el punto de ralentizar los proyectos de digitalización que ayudan a mejorar la calidad de vida de estas ciudades y sus servicios públicos.
Por eso, cuando tuvimos la oportunidad de trabajar con el Ayuntamiento de Benidorm para implementar una solución que les ayudara a calcular cuántas personas viven de forma temporal o fija en su municipio para mejorar sus servicios públicos, sabíamos que implementar el Medallion ETL sería crucial.
El Ayuntamiento de Benidorm ha lanzado una Un «doble digital» para conocer con mayor precisión la población flotante de la ciudad y optimizar la gestión de los servicios públicos. Para ello, utilizará iris360, la plataforma de inteligencia de datos de Libelium.
Este proyecto implica gestionar múltiples fuentes de datos de diferentes proveedores, incluidos el consumo de energía y agua, los indicadores de la red móvil, los datos del censo y los datos meteorológicos, entre otras fuentes de información.
Integrar toda esta información en una única plataforma puede convertirse fácilmente no solo en un verdadero infierno técnico (diferentes formatos, frecuencias de actualización, restricciones de gobernanza y niveles de calidad), sino también en una Costos prohibitivos para el presupuesto municipal si cada integración se considera un proyecto aislado.
Por eso hemos implementado un enfoque de Medallion ETL en Benidorm: recopilar datos desde el almacén de datos y limpiar rápidamente toda la información en la capa Bronce, aplicar la normalización y validación en la capa Plata y publicar conjuntos de datos seleccionados y listos para su uso en la capa Oro. Este Verdad sobre el terreno es la información que tomará el sistema de inteligencia artificial iris360 Formar y corregir las discrepancias entre la población registrada y la densidad real de personas en la localidad.
El resultado es un patrón de integración predecible que reduce los costos, acelera la entrega y mantiene la capacidad de evolucionar a medida que se agreguen nuevos proveedores y conjuntos de datos.
Además, el La plataforma iris360 es interoperable con Nodo central de SEGITTUR, por lo que puede conectarse directamente con el PID de Alicante y la plataforma Benidorm SmartRegion para integrar un espectro más amplio de fuentes de datos urbanos, como la afluencia de visitantes a la playa o el tráfico de vehículos, mediante sistemas de visión por computadora, conectando todas las capas de la ciudad.
Adopta este modelo y las ciudades tendrán las herramientas necesarias para ampliar su capacidad analítica y construir un futuro más eficiente y conectado.
El papel de la arquitectura Medallion en las soluciones de Smart City
Las ciudades inteligentes toman decisiones basadas en datos. Si sus Las decisiones deben basarse en datos, estos deben ser lo más precisos posible, pero también seguros y eficientes.. La arquitectura Medallion desempeña un papel fundamental al generar esta información al integrar diversas fuentes de datos de diversos proveedores de datos, tanto externos como internos, con el cerebro digital que es la plataforma de la ciudad inteligente.
La clave de este enfoque radica en la capacidad de gestionar grandes volúmenes de datos. Con la arquitectura Medallion, las ciudades pueden recopilar datos de sistemas de tráfico, redes energéticas, redes de agua, monitoreo ambiental y servicios públicos en un modelo coherente para el análisis y la toma de decisiones sin que ello tenga impacto en el aumento de los costos.
La integración de datos entre diversos actores públicos y privados, facilitada por la arquitectura iris360, permite resolver casos de uso complejos eliminando las barreras entre departamentos y proveedores externos para ofrecer servicios fluidos al ciudadano.
- Gestión de emergencias en tiempo real: Al conectar los sensores IoT (proveedores externos) con los sistemas de control de tráfico y las flotas de vehículos de emergencia (departamentos internos), el sistema prioriza automáticamente las rutas y los semáforos, reduciendo drásticamente los tiempos de respuesta.
- Planificación urbana dinámica: Al combinar datos de redes móviles (empresas externas) con registros de servicios públicos (empresas municipales) y datos del censo, la ciudad puede ofrecer servicios como la gestión de residuos o el transporte de acuerdo con la población real, optimizando los recursos públicos.
- Sostenibilidad ambiental activa: Al integrar las mediciones de la calidad del aire (sensores externos), los datos del tráfico (departamento de movilidad) y las previsiones meteorológicas, los responsables activan los protocolos de restricción del tráfico solo cuando sea estrictamente necesario, garantizando la eficiencia operativa y el bienestar de los ciudadanos.
Los datos fluyen tal como lo hacen los ciudadanos.
Además, la flexibilidad de la arquitectura de datos de Medallion permite ofrecer servicios personalizados. Al comprender las necesidades de los ciudadanos, las ciudades pueden adaptar los servicios para satisfacer las demandas cambiantes, sin necesidad de rediseñar toda la infraestructura de datos cada vez que aparezca un nuevo proveedor o conjunto de datos.
Ciudades inteligentes resilientes y sostenibles con colaboración
En el La transición dual de las ciudades (digital y ecológica), Libelium actúa como la necesaria conexión entre las ciudades y los proveedores Unirse para transformar los datos en acciones reales que mejoren los servicios públicos.
Incluso dentro de la propia gestión de la ciudad, pueden existir datos bloqueados en silos entre diferentes departamentos que deben integrarse en una única plataforma debido a Los ciudadanos no interactúan de forma aislada con la ciudad, sino que lo hacen de forma fluida.. Así pues, la organización de la ciudad debe funcionar de la misma manera. Aquí, la arquitectura ETL Medallion resulta totalmente adecuada para una colaboración estrecha e interconectada entre los diferentes departamentos.
El éxito no depende solo del instrumento, sino de la estrecha colaboración entre quienes gestionan la ciudad y quienes proporcionan los datos, rompiendo las barreras para trabajar bajo la misma visión.
iris360 permite que esta colaboración sea fluida y constante, garantizando que Cada byte de información se traduce en una mejora medible en nuestra lucha común por un futuro más sostenible.
El futuro de las soluciones de datos para ciudades inteligentes
Soluciones inteligentes para ciudades como las ofrecidas por Libelium están transformando los entornos urbanos con una eficiencia sin precedentes. La arquitectura Medallion desempeña un papel fundamental al organizar los datos en capas utilizables que fortalecen la toma de decisiones y la prestación de servicios.
Benidorm ilustra el desafío práctico: coordinar múltiples proveedores y dominios es complejo y costoso si se aborda como un conjunto de integraciones personalizadas. Un patrón ETL basado en Medallion crea una forma repetible y escalable para incorporar datos en plataformas como iris360 y proporcionar conjuntos de datos confiables para servicios municipales.
Al mirar hacia el futuro, la atención debe centrarse en la sostenibilidad, la seguridad y la adaptabilidad. Aprovechando las ventajas de escalabilidad y gobernanza de la arquitectura Medallion, las ciudades están mejor preparadas para satisfacer las necesidades cambiantes y ofrecer resultados medibles para los ciudadanos.
Behind the Change.
Beyond the Challenge.