Modelagem de Dados: O que é e como utilizar para analisar dados.
All for Joomla All for Webmasters

Como funciona a modelagem de dados em soluções de BI

A Modelagem de Dados tem se tornado cada vez mais importante na implementação de uma cultura Data-Driven nas empresas. Através de um processo de ETL (Extract, Transform e Load) podemos juntar informações de várias fontes de dados e colocá-las em um único repositório chamado Data Warehouse / Data Marts.

 

 

Por que fazer uma modelagem de dados?

 A modelagem de dados é uma técnica de construção do Banco de Dados de uma forma dimensional onde as consultas para as construções dos dashboards serão executadas de uma forma mais rápida, intuitiva, com escalabilidade e que suporta periodicidade de atualizações.

O Banco de Dados Relacional (OLTP) é modelado com tabelas interligadas onde o processo de consulta pode causar uma indisponibilidade no sistema de gestão empresarial (ERP) pois é baseado em transações. Já no Banco de Dados Dimensional (OLAP), as métricas são colocadas em uma tabela Fato e os atributos em Dimensões, tornando o processo de análise de dados mais simplificado e com suporte a consulta para uma grande quantidade de dados sem onerar o Banco de Dados Operacional.

 

Como funciona a modelagem de dados em soluções de BI

 

Mas afinal, o que é a etapa de ETL no fluxo de dados, e qual a sua importância?

A sigla é proveniente do Inglês – Extrair, Transformar e Carregar. O processo de ETL consiste em:

  • Fazer extração dos dados de uma ou várias fontes e unificá-las;
  • Após a extração esses dados podem ter várias transformações, como:
    • Alterar os campos em novos formatos,
    • Criar campos calculados,
    • Tratar nulos,
    • Tratar caracteres,
    • Tratar espaços,
    • Fazer concatenações e combinações,
    • Limpar toda a sujeira ou dados incorretos proveniente da fonte original e ter uma qualidade dos dados.
  • E por fim, fazer a carga dos dados limpos em um repositório estruturado e modelado para esses novos campos. A carga pode ser feita de forma incremental ou completa

O processo de ETL tem uma grande importância em uma solução de BI (Business Intelligence), pois ele funciona como um orquestrador de dados para a modelagem de dados. Para a execução dessa etapa, há diversas ferramentas no mercado que auxiliam no processo, desde ferramentas open source até ferramentas pagas – Alteryx, Microsoft SQL Server Integration Services (SSIS), Pentaho etc.

Essas ferramentas podem ser configuradas para funcionar de forma automatizada e com horários pré-determinados, simplificando o processo de tratamento e unificação dos dados.

 

Qual a vantagem de utilizar o ETL?

Uma das grandes vantagens é a forma de tratamento, qualidade e agilidade que as informações serão disponibilizadas na camada de visualização de dados (Power BI, Tableau, por exemplo).

Além de todos os benefícios citados, o projeto seguirá as boas práticas de desenvolvimento de um projeto de BI garantindo a governança e performance.

 

 

Onde os dados tratados devem ser armazenados?

Conforme citato no início, a melhor prática recomendada para uma modelagem de dados em soluções de BI é colocar esses dados em um repositório separado, iniciando com uma Staging Area, e posteriormente migrados para o Data Warehouse ou Data Marts.

A Staging Area é um banco de dados intermediário que deverá conter os arquivos extraídos a partir da origem (banco de dados que contém os dados brutos, gerados a partir das transações de negócio), e devidamente tratados para serem inseridos no Data Warehouse (DW) ou Data Mart. Essa etapa ainda contempla a possibilidade de ser efetuadas as consultas Ad Hoc ou criação de Views. É um repositório de extrema importância, pois diversas consultas que seriam feitas no banco de dados original, serão feitas na Staging Area, evitando a concorrência de acessos.

Já feita a transformação e qualidade dos dados podemos carregá-los em um Data Warehouse ou Data Marts.

O Data Warehouse (DW) é um banco de dados dimensional projetado para armazenar grandes volumes de dados com performance nas consultas, o Data Mart é um subconjunto do Data Warehouse (DW), podendo ser agrupado por departamentos – Data Mart Financeiro, Data Mart Marketing, Data Mart Vendas, e assim por diante. Esse modelo permite segmentar os dados dentro da empresa de forma departamental onde os painéis financeiros, por exemplo, somente irão utilizar os dados do Data Mart Financeiro.

Esse modelo apresentado garante as boas práticas de um projeto de BI (Business Intelligence): Fonte de Dados > Staging Area > ETL > DW/Data Mart > Ferramentas de Visualização.

 

Como funciona a modelagem de dados em soluções de BI

 

A modelagem de dados para uma análise de BI é uma das formas de otimizar o seu tempo na coleta de dados, fornecendo dados precisos e atualizados sempre que você precisa, porém precisa ser bem aplicado e implementado.

Pode parecer complicado, mas quando você conta com o auxílio de uma consultoria especializada em ferramentas de BI, como a BDA Solutions, esse processo de modelagem, implementação, compreensão e treinamento são bem mais rápidos e assertivos.

 

Entre em contato com a nossa equipe e marque sua consultoria.