¿Qué es Data Mesh y por qué revoluciona al mundo de los datos?
Para entender qué es Data Mesh, primero debemos adentrarnos en el mundo del Big Data para comprender de dónde viene el concepto “malla de datos”.
Cuando hablamos de los procesos ETL, entendemos que el Data Warehouse (DW) es un almacén de grandes volúmenes de datos.
Estos procesos y almacenes ayudaron a las empresas a llegar a ciertos clientes de una manera que antes no era posible, pero como sabemos, las innovaciones son continuas y crecen de una manera acelerada, esto conlleva que en varias ocasiones los procesos de extracción, transformación y carga de los datos pueda ser demasiado lenta.
Para conseguir un mayor ritmo en la gestión de los datos, nació lo que se conoce como Data Lake.
¿Qué es el Data Lake?
El Data Lake es un almacén de datos, similar al Data Warehouse, pero con la diferencia que admite cualquier tipo de dato y los conserva tal como los han cargado.
La ventaja del Data Lake es que se adapta de forma rápida a los cambios, debido a que se almacenan en una arquitectura plana, y no en forma de ficheros como sucede en el DW.
Los usuarios acceden a los datos antes de haberlos modificado y segmentado, por lo que es más sencillo acceder a ellos.
Ahora bien… ¿Qué es Data Mesh?
El Data Mesh fracciona esos datos almacenados dentro del Data Lake en varios dominios de negocio que se utilizarán para crear productos de datos, haciéndolos llegar a diversas áreas de la empresa.
Algunas características:
- Permite cierta personalización de productos o servicios que se ofrecen al cliente
- Permite la jerarquización de los datos
- Ayuda a generar procesos más ágiles para las necesidades digitales del mercado
- Posibilita la navegación desde múltiples dispositivos y permite la sincronización ágil entre ellos
El Data Mesh permite esto, que los productos de datos se unan entre dominios permitiendo un intercambio de los datos sin almacén.
Principios del Data Mesh
Para entender mejor cómo el Data Mesh puede revolucionar el mundo de los datos, explicaremos los 4 principios básicos que lo definen:
Gestión de los datos de forma independiente –
Al no existir un almacén, ofrece una gestión más simple, cómoda y menos costosa, mediante dominios, sin almacén. La gestión de datos es independiente.
Datos utilizables y sencillos como si fueran un producto –
Los datos que proporciona el dominio deben ser tratados como un producto, y aquellos que consumen esos datos deben tratarse como clientes.
Su correcto funcionamiento se basa principalmente en que el propietario del producto de datos de dominio debe conocer en detalle quiénes son los usuarios, cuál es el uso y los métodos con los que se sienten cómodos para consumirlos. Este conocimiento permite diseñar una interfaz de productos de datos que satisfagan sus necesidades.
Plataforma de autoservicio de datos –
Los integrantes de cada dominio pueden acceder y utilizar los datos. Se requiere de una tecnología compleja si se quiere acceder a los mismos de una forma satisfactoria.
Gobernanza federada –
Comentamos que los conjuntos de datos son independientes, que no necesitan un almacén, pero para que esto se cumpla deben ser capaces de interoperar entre sí y permitir realizar operaciones a gran escala.
Conclusión
Podemos afirmar que Data Mesh no se trata ni de una arquitectura ni de una plataforma, sino que trata de una solución en continuo desarrollo que adopta diferentes interpretaciones. Son los principios del Data Mesh los que mejor definen el concepto, el dominio como base del diseño, los datos como producto, la plataforma como autoservicio y la gobernanza federada.
Se debe abandonar el concepto de pensar y utilizar los datos como recurso, y comenzar a pensar en los datos como un producto. El foco debe desviarse del productor como colector de datos, y apuntar al productor como servidor de datos. Cuando una organización consiga transformar el concepto, logrará conseguir una mejor experiencia en el consumo de datos.
¿Qué opinas sobre Data Mesh? –
Si querés contactarnos directamente mandanos un mensaje a Contacto.
Referencias:
INESDI
Powerdata
Tendencias kpmg