✒️SAP BI / BW BO Introducción al ETL

Proceso ETL

ETL - este termino viene de ingles de las siglas Extract-Transform-Load que significan Extraer, Transformar y Cargar y se refiere a los datos en una empresa. ETL es el proceso que organiza el flujo de los datos entre diferentes sistemas en una organización y aporta los métodos y herramientas necesarias para mover datos desde múltiples fuentes a un almacén de datos, reformatearlos, limpiarlos y cargarlos en otra base de datos, data mart ó bodega de datos. ETL forma parte de la Inteligencia Empresarial (Business Intelligence), también llamado “Gestión de los Datos” (Data Management).

La idea es que una aplicación ETL lea los datos primarios de unas bases de datos de sistemas principales, realice transformación, validación, el proceso cualitativo, filtración y al final escriba datos en el almacén y en este momento los datos son disponibles para analizar por los usuarios.

Fase extracción

Para realizar de manera correcta el proceso de extracción se deben seguir los siguientes pasos:

• Extraer los datos desde los sistemas de origen.
• Analizar los datos extraídos obteniendo un chequeo.
• Interpretar este chequeo para verificar que los datos extraídos cumplen la pauta o estructura que se esperaba. Si no fuese así, los datos deberían ser rechazados.
• Convertir los datos a un formato preparado para iniciar el proceso de transformación.

Además, una de las prevenciones más importantes a tomar en cuenta durante el proceso de extracción sería el exigir siempre que esta tarea cause un impacto mínimo en el sistema de origen. Este requisito se basa en la práctica, ya que si los datos a extraer son muchos, el sistema de origen se podría ralentizar e incluso colapsar, provocando que no pudiera volver a ser utilizado con normalidad para su uso cotidiano.

Fase de transformación

La fase de transformación de un proceso de ETL aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Estas directrices pueden ser declarativas, basarse en excepciones o restricciones, pero para potenciar su pragmatismo y eficacia es preciso asegurarse de que sean:

• Declarativas.
• Independientes.
• Claras.
• Inteligibles.
• Con una finalidad útil para el negocio.

Proceso de carga

En esta etapa, los datos procedentes de la fase anterior (fase de transformación) son cargados en el sistema de destino. Dependiendo de los requerimientos de la organización, este proceso puede abarcar una amplia variedad de acciones diferentes.
Existen dos formas básicas de desarrollar el proceso de carga:

Acumulación simple

Esta manera de cargar los datos consiste en realizar un resumen de todas las transacciones comprendidas en el periodo seleccionado y transportar el resultado como una única transacción hacia el data warehouse, almacenando un valor calculado que consistirá típicamente en un sumatorio o un promedio de la magnitud considerada. Es la forma más sencilla y común de llevar a cabo el proceso de carga.

Rolling

Este proceso sería el recomendable en los casos donde se busque mantener varios niveles de granularidad. Para ello se almacena información resumida a distintos niveles, correspondiendo a distintas agrupaciones de la unidad de tiempo o diferentes niveles jerárquicos en alguna o varias de las dimensiones de la magnitud almacenada (por ejemplo, totales diarios, totales semanales, totales mensuales, etcétera).

Cualquiera que sea la manera de desarrollar este proceso, hay que tener en cuenta que esta fase interactúa directamente con la base de datos de destino, y por eso al realizar esta operación se aplicarán todas las restricciones que se hayan definido en esta. Si están bien definidas, la calidad de los datos en el proceso ETL estará garantizada.

¿Para qué sirve una herramienta ETL?

ETL es un instrumento potente que puede trabajar junto a otras herramientas de gestión e integración de datos para cumplir con los objetivos de nuestra compañía. Algunos casos de usos incluyen:

• Migración de datos desde sistemas legacy con formatos de datos distintos.
• Consolidación de datos como consecuencia de una fusión empresarial.
• Recolección y fusión de datos desde proveedores o partners externos.
• Integración de nuevas fuentes de datos como social media, videos, dispositivos conectados a internet de las cosas, entre otras.
• Analítica “Self-Service” para ofrecer la posibilidad de hacer decisiones basadas en los datos a perfiles de negocio y sin conocimientos técnicos.
• Integrarse con herramientas de Data Quality para asegurar que los datos sean confiables.
• Trabajar con metadatos para permitir la trazabilidad de los datos.
• Integrarse con sistemas transaccionales, almacenes de datos operativos, plataformas de Business Intelligence y sistemas de Master Data Management (MDM).

En resumen, los beneficios principales que una herramienta ETL puede proporcionar a nuestra empresas son:

• Permitir extraer y consolidar datos de múltiples fuentes.
• Proporcionar un contexto histórico profundo sobre nuestra empresa y negocio.
• Facilitra el análisis y el reporte de datos de una forma sencilla y eficiente, mediante representación visual.
• Aumentar la productividad y facilitar el trabajo en equipo.
• Permitir adaptarse a la evolución de las tecnologías e integrar nuevas fuentes de datos con las tradicionales.
• Permitir la toma de decisión estratégica basadas en datos por parte de los directivos de la empresa.

En definitiva, ETL nos pone en condición de poder extraer de ellos el conocimiento que nos pueda ayudar a solucionar nuestros problemas de negocio y ser verdaderas empresas data driven.

Los procesos ETL son fundamentales para cada empresa. Sin embargo, se encuentran con importantes retos que tienes que superar para adaptarse a las nuevas necesidades:

• Procesamiento de datos en tiempo real. Cada día más se necesita tomar decisiones con mayor velocidad, lo que contrasta con el funcionamiento en batch de los sistemas ETL tradicionales, que tiene que adecuarse para operar lo más cercano posible al tiempo real.
• Aumentar la velocidad del procesamiento de datos. El aumento tanto de la cantidad como de la complejidad de los datos, dificulta a veces las tareas de transformación. En este sentido, nación el concepto de ELT (Extract, Load and Transformation), que pospone la transformación en último lugar, realizándose ya en el sistema destino, y aprovechando de la potencia de cálculo del motor de la base de datos.
• Integración de nuevas fuentes de datos. En la actualidad, las empresas necesitan acceder a todo tipo de fuentes de datos heterogéneas: videos, redes sociales y hasta datos generados por máquinas (Internet de las cosas). Por esto, las herramientas ETL necesitan evolucionar y agregar nuevas transformaciones para soportar estas nuevas fuentes de datos y las que vendrán en futuro.