Skip to content

Mês: fevereiro 2022

Os desafios de implantar a Jornada de Dados!

Jornada de Dados

Quando pensamos em Jornada de Dados, diversos comentários e perguntas são feitos pelos profissionais em nossas consultorias:

  • Por onde começamos?
  • Quais são as etapas do projeto?
  • Começamos pelo negócio ou pela infraestrutura de dados?
  • Quem será o líder pela Jornada de Dados?
  • Quais departamentos iremos envolver para o desenvolvimento do projeto?
  • É um projeto pontual ou fará parte da rotina da empresa?
  • Quais tecnologias de Data & Analytics iremos utilizar?
  • Podemos utilizar as tecnologias que já foram implantadas na empresa?
  • Quais são os skills necessários para a formação dos profissionais na jornada de dados?
  • Vamos utilizar uma consultoria externa para apoiar o projeto?
  • Vamos utilizar os profissionais internos para desenvolver o projeto?
  • Temos budget para desenvolver o projeto?
  • Qual será o retorno para a empresa com o projeto?
  • Nesses últimos 5 anos, desenvolvemos diversas frentes de BI (Business Intelligence) na empresa e ainda percebemos que as bases de dados não são consistentes e ainda tem muitos silos de dados nos departamentos. Vamos rever o nosso projeto de dados na empresa?
  • Já temos um Data Lake, mas o time interno não tem tempo de conversar com as áreas de negócio e desenvolver um projeto de Analytics para construir os dashboards que façam sentido para a tomada de decisão.
  • Acabamos de contratar um Cientista de Dados, mas o profissional não consegue apresentar resultados com a base de dados da empresa.
  • Hoje, a grande maioria das áreas de negócio já implantaram os seus dashboards, mas ainda continuamos tendo que salvar os arquivos em planilhas no Sharepoint porque não temos um pipeline de dados que permite automatizar a extração, tratamento e carga dos dados.
  • Fizemos um projeto de Analytics a cerca de 8 anos atrás, mas todo o processo de ETL foi desenvolvido na plataforma de visualização já ultrapassada tecnicamente e muito cara, e agora, queremos migrar para uma plataforma mais friendly e mais acessível financeiramente, e vamos ter que reconstruir todo o projeto que levou mais de 2 anos com 3 profissionais dedicados.
  • O nosso analista de BI desenvolveu uma série de dashboards e não documentou nada, e infelizmente, recebeu uma proposta e acabou deixando a empresa.
  • Toda a nossa infraestrutura de dados é on premises (interno ou num Data Center) e precisamos migrar para a nuvem, porém ainda não sabemos para qual nuvem iremos.
  • Não conseguimos contratar profissionais de dados.
  • Será que iremos precisar de um cientista de dados para o projeto?
  • Será que iremos precisar de um engenheiro de dados para o projeto?
  • Será que iremos precisar de um arquiteto de dados para o projeto?
  • O nosso plano é crescer 25%, mas se dependermos da base de contatos em nosso CRM não conseguimos analisar novos mercados, dessa forma, teremos que buscar novas fontes de dados. Vamos buscar fontes externas para consolidar e gerar novos insights.
  • Se usarmos alguma consultoria externa, os nossos profissionais internos terão disponibilidade para apoiar com as regras de negócio?
  • O time de TI está engajado no projeto?
  • O Machine Learning ou a Inteligência artificial irá gerar insights para a tomada de decisão da empresa ou ainda é um sonho?

Tenho certeza que há muitas outras perguntas, dúvidas e comentários quando falamos de Jornada de Dados. Aqui eu listei somente algumas que surgem em nossas consultorias e projetos que desenvolvemos nos últimos anos em diversos segmentos.

Uma coisa é certa, a Jornada de Dados não pode ser um projeto com começo, meio e fim, e sim, deve fazer parte do cotidiano da empresa, criando assim uma cultura Data Driven ou uma empresa guiada por dados.

 

Como iniciar a Jornada de Dados?

Não há uma cartilha, mas boas práticas a serem seguidas, até porque cada empresa possui a sua cultura, características, estruturas, políticas e orçamentos.

Vamos imaginar uma empresa de grande porte com várias áreas de negócio e segmentos de atuação que possui o objetivo de crescimento de 25% nos próximos 2 anos, porém já se encontra num mercado maduro.

Aí vem uma pergunta, o que tem a ver a Jornada de Dados com o objetivo de negócio? A Jornada de Dados tem que estar alinhada aos objetivos de negócio da empresa, pois será o instrumento necessário para o atingimento dos resultados. Essa é uma das explicações que um projeto de Data & Analytics tem sido liderado pelo negócio e não mais por tecnologia.

Então, a primeira etapa da Jornada de Dados é o alinhamento com a estratégia de negócio da empresa e em seguida o desdobramento da estratégia com as áreas – planejamento, inteligência de mercado, vendas, marketing e tecnologia.

Nessa etapa do desdobramento é de extrema importância criar um MVP (Minimum Viable Product ou Produto Mínimo Viável) para ter um modelo de trabalho que servirá como base para outras frentes.

Nessa etapa que chamamos de Business em nosso framework, desenvolvemos uma ferramenta de gestão, o Data Assessment Canvas, que nos apoia no mapeamento inicial onde será definido:

  • objetivo de negócio (área de negócio ou linha de produto ou segmento),
  • matriz de perguntas de negócio,
  • fontes de dados necessárias (interna e/ou externa),
  • métricas,
  • indicadores e
  • equipe que será engajada

As fontes de dados necessárias para responder as perguntas de negócio podem estar disponíveis internamente num banco de dados relacional (SQL Server ou num Oracle, por exemplo) ou num DW ou num Data Lake, gerados a partir dos sistemas transacionais (ERP, CRM etc), ou ainda, disponíveis externamente (bases públicas ou bases adquiridas de empresas de pesquisas).

Caso seja necessário utilizar fontes externas, um dos processos que será necessário é o download e o armazenamento dessa(s) fonte de dados num banco de dados.

Nessa etapa de avaliação das bases de dados, caso a empresa ainda não tenha um pipeline de dados será necessário construir um processo ou um fluxo contínuo de dados, ou seja, uma Plataforma de Dados. Esse processo é de responsabilidade da área de tecnologia de dados, uma vez que envolve infraestrutura, etapa esta que chamamos de Data.

Essa primeira etapa, basicamente é o planejamento, onde definimos – o objetivo de negócio, as perguntas necessárias, as fontes de dados, as métricas, os indicadores e a equipe. A partir do planejamento vamos definir o cronograma e entregáveis, através da gestão ágil de projetos.

Um ponto importante de ser incluído na etapa de planejamento é qual o tempo que se espera de finalização do MVP e a disponibilidade da equipe no desenvolvimento. Algumas perguntas que devem ser respondidas:

  • Qual é a expectativa de tempo de finalização do MVP?
  • Quem será o gerente de projetos interno?
  • Quantos recursos e skills serão necessários em cada etapa do cronograma?
  • Quanto tempo de cada recurso será necessário em cada etapa do cronograma?
  • Possuímos recursos interno com os skills necessários para a execução das etapas? Se sim, esses recursos possuem disponibilidade? Se não, vamos contratar ou vamos terceirizar?
  • Qual é a infraestrutura e tecnologias ou qual é a plataforma de dados necessária para a implantação do MVP?
  • Será terceirizado, qual é o budget disponível?

No item que se refere a recursos e skills, podemos listar:

  • Arquiteto de dados: Responsável pelo estudo, desenho e planejamento das soluções que serão utilizadas para construção do pipeline de dados;
  • Engenheiro de dados: Garante a integração, agregação e aperfeiçoamento dos conjuntos de dados, tornando o acervo disponível para consumo pelos analistas de negócio, analistas de BI e cientistas de dados, ou seja, prepara fisicamente a estrutura de dados;
  • Analista de Dados: Consulta, interpreta e torna os dados legíveis para as áreas de negócio, gerando insights para a tomada de decisão.
  • Usuário de Negócio: Utiliza os dados em forma de informações prontas ou explora através da criação de painéis e relatórios, atuando como usuário do self-service BI e compartilha o conhecimento para a tomada de decisão;
  • Cientista de Dados: Elabora algoritmos e modelos matemáticos que serão utilizados para predição, regressão, Machine Learning e Inteligência Artificial;
  • Gerente de Projetos: Responsável pelo acompanhamento das atividades planejadas no cronograma, através do modelo ágil.

Outro skill importante no processo da Jornada de Dados é o Data Literacy ou Alfabetização de Dados também está integrada na jornada de dados. Ele resume a capacidade de ler, escrever e comunicar dados de forma contextual. Para que a jornada de dados traga resultados é necessário que haja pessoas interpretando cada uma das informações. É exatamente sobre isso que o Data Literacy trata.

Até o momento não falamos muito de tecnologia, mas é importante a definição da infraestrutura, tecnologia e processo de replicação de dados, processo de DW ou Data Lake, processo de Catálogo de Dados, processo de ETL, plataforma de visualização de dados e plataforma ou linguagem de Machine Learning). Para cada etapa citada o mercado tem disponível diversas opções, preços e complexidade, porém é muito importante avaliar as soluções que reduz o esforço, prazo e custos de implementação.

Plataforma de Dados

  • Infraestrutura em cloud: AWS ou Microsoft Azure
  • Processo de replicação de dados: Qlik Replicate
  • Processo de criação de DW ou Data Lake: Qlik Compose
  • Processo de criação de catálogo de dados: Qlik Catalog
  • Processo de integração de dados e ETL: Azure Data Factory, Azure Synapse Analytics, Microsoft SSIS, Pentaho etc

Plataforma de Analytics

  • Plataforma de Visualizacão de Dados: Power BI, Qlik Sense e Tableau
  • Plataforma e Linguagem de Machine Learning: Alteryx, Python ou R

Vamos imaginar que todas as perguntas foram respondidas, modelo de desenvolvimento definido (interno e/ou externo), equipe de entrega definida, plataforma de Dados e Analytics definida, assim  chegou a hora de colocar a mão na massa baseado nas atividades e entregáveis do cronograma. Essa segunda etapa será:

Entendimento do Negócio e das Fontes de Dados

  • Análise das tabelas e dicionário de dados
  • Análise da qualidade dos dados quanto a acuracidade, consistência, coerência, confiabilidade, relevância, duplicidade, dados faltantes, frequência de atualizações, disponibilidade e relacional entre as tabelas
  • Mapa estruturado das métricas e indicadores utilizados
  • Desenho do processo atual,
  • Desenho da estrutura atual de coleta dos dados internos e/ou externos, processo de input dos dados, qualidade dos dados e arquitetura utilizada

Preparação dos Dados

  • Preparação do ETL (Extract, Transform e Load ou Extração, Transformação e Carga de dados)
  • Integração das bases internas e/ou externas
  • Validação e redesenho das rotinas de coleta e disponibilização dos dados do DW ou do Data Lake para utilização nas ferramentas de visualização de dados e predição
  • Desenho e implantação da arquitetura de integração entre as tabelas oriundas das bases internas e/ou externas

Visualização de Dados e Machine Learning

  • Criação de visões analíticas
  • Criação de modelos matemáticos
  • Testes de validação dos modelos
  • Calibração dos modelos
  • Elaboração e implantação dos reports de visualização, formato, principais indicadores, quebras, alertas e frequência de atualização
  • Seleção das informações e mecanismos a serem utilizados na base de treino do modelo estatístico de predição
  • Testagem do modelo na base de testes e avaliação de diferentes mecanismos no resultado preditivo
  • Validação do modelo preditivo em produção
  • Implantação da rotina de Machine Learning e validação com as áreas responsáveis

As atividades listadas na segunda etapa não são lineares, pois os processos se correlacionam e constantemente é necessário retomar uma fase ou outra.

O processo de Data & Analytics  é uma jornada viva, pois os processos são atualizados, novas fontes de dados são criadas, novas tecnologias são desenvolvidas e novos profissionais são contratados, ou seja, envolve Processos, Dados, Tecnologia e Pessoas.

Deseja iniciar a Jornada de Dados em sua empresa? Converse com um de nossos consultores comerciais e entenda como a BDA Solutions – Big Data & Analytics pode te ajudar com as ferramentas e processos de gestão de serviços.

Chamar no WhatsApp
Precisa de ajuda?
Olá! Podemos ajudar?
  • Converse com nossos consultores!

    Preencha o formulário abaixo que nós entraremos em contato com você!





    • Converse com nossos consultores!

      Preencha o formulário abaixo que nós entraremos em contato com você!





      • Converse com nossos consultores!

        Preencha o formulário abaixo que nós entraremos em contato com você!





        • Converse com nossos consultores!

          Preencha o formulário abaixo que nós entraremos em contato com você!





          • Converse com nossos consultores!

            Preencha o formulário abaixo que nós entraremos em contato com você!





            • Converse com nossos consultores!

              Preencha o formulário abaixo que nós entraremos em contato com você!





              • Participe do nosso treinamento!

                Preencha o formulário abaixo que nós entraremos em contato com você!




                • Participe do nosso treinamento!

                  Preencha o formulário abaixo que nós entraremos em contato com você!




                  • Participe do nosso treinamento!

                    Preencha o formulário abaixo que nós entraremos em contato com você!




                    • Participe do nosso treinamento!

                      Preencha o formulário abaixo que nós entraremos em contato com você!




                      • Participe do nosso treinamento!

                        Preencha o formulário abaixo que nós entraremos em contato com você!




                        • Converse com nossos consultores!

                          Preencha o formulário abaixo que nós entraremos em contato com você!





                          • Converse com nossos consultores!

                            Preencha o formulário abaixo que nós entraremos em contato com você!





                            • Converse com nossos consultores!

                              Preencha o formulário abaixo que nós entraremos em contato com você!





                              • Converse com nossos consultores!

                                Preencha o formulário abaixo que nós entraremos em contato com você!





                                • Converse com nossos consultores!

                                  Preencha o formulário abaixo que nós entraremos em contato com você!





                                  • Converse com nossos consultores!

                                    Preencha o formulário abaixo que nós entraremos em contato com você!





                                    • Converse com nossos consultores!

                                      Preencha o formulário abaixo que nós entraremos em contato com você!





                                      • Converse com nossos consultores!

                                        Preencha o formulário abaixo que nós entraremos em contato com você!





                                        • Converse com nossos consultores!

                                          Preencha o formulário abaixo que nós entraremos em contato com você!





                                          • Converse com nossos consultores!

                                            Preencha o formulário abaixo que nós entraremos em contato com você!





                                            • Converse com nossos consultores!

                                              Preencha o formulário abaixo que nós entraremos em contato com você!





                                              • Converse com nossos consultores!

                                                Preencha o formulário abaixo que nós entraremos em contato com você!





                                                • Converse com nossos consultores!

                                                  Preencha o formulário abaixo que nós entraremos em contato com você!





                                                  • Participe do nosso treinamento!

                                                    Preencha o formulário abaixo que nós entraremos em contato com você!