3 Etapas do Processo de ETL
Assim, no contexto de Data Warehouse e Business Intelligence surge o processo de ETL (extract; transform; load) que passa pelas três seguintes etapas importantes para o sucesso e transição dos dados dos sistemas de origem para o Data Warehouse:
1. Recolha de dados
Pode entender-se esta etapa como a fase em que os dados são extraídos dos sistemas de origem e transportados para uma área secundária, onde são convertidos para um só formato. A sua conversão é fundamental tendo em conta a heterogeneidade existente nas informações extraídas dos sistemas de origem. Portanto, é fundamental fazer uma estruturação prévia para posteriormente, ser feito o tratamento adequado.
2. Processamento e Análise
Os dados depois de reunidos, são transformados e é feita a sua 'limpeza'. Nesta fase os dados são corrigidos, padronizados e tratados de acordo com as necessidades de cada empresa.
O data mapping (mapeamento de dados) é uma parte do processo de transformação que fornece instruções detalhadas para uma aplicação sobre de que forma é possível obter os dados necessários para serem processados.
A etapa de carregamento ocorre a seguir à transformação. Assim que são efetuados todos os tratamentos necessários aos dados, é iniciado o carregamento do Data Warehouse – contém quatro propriedades fundamentais para suportar as tomadas de decisão que definem o DW como sendo um conjunto de dados:
- Organizado por assunto, providenciando uma visão mais simples sobre um determinado assunto e permitindo uma melhor análise;
- Integrado, de forma a resolver os conflitos e discrepâncias dos diversos formatos de dados;
- Estruturado temporalmente, permitindo detetar padrões e relações a longo prazo;
- Não volátil, no sentido em que os registos podem sofrer alterações ou atualizações depois de inseridos.
3. Visualização e Monitorização
Esta etapa é um desafio normal para as empresas que permite aos diversos intervenientes fazer a monitorização da evolução dos resultados de acordo com as metas e objetivos definidos.
Uma solução neste sentido passa pela criação de dashboards – painéis que apresentam métricas e indicadores visuais para alcançar objetivos e metas que facilitam a compreensão das informações obtidas e permitem fazer um acompanhamento dos resultados diariamente, semanalmente ou em tempo real.
Assim, os dados em massa têm bastante potencial, mas não têm grande significado se não se conseguir operacionalizar o seu uso, pois é necessário utilizar sistemas completos e dinâmicos que sejam capazes de gerar, agrupar, cruzar e fazer comparação de dados em bruto de diversas fontes, transformando-os em informação pertinente para as empresas de forma a facilitar a gestão, a procura de informações e a tomada de decisões.