Business Intelligence: Do Source System ao Data Warehouse: processo de ETL

Siga FullPress no Google

Adicione-nos às suas fontes preferidas.

São diversas as fases de um processo ETL. A extração, a primeira delas, implica a preparação de rotinas capazes de ler os registros contidos no banco de dados de origem e prepará-los para a fase seguinte de transformação. Transformação A maioria das ferramentas prevê rotinas de extração específicas para os sistemas ERP mais conhecidos ou para os aplicativos mais difundidos. Após coletar os dados, as rotinas de transformação os preparam para sua nova localização. Existem diversas técnicas de transformação. A agregação permite substituir numerosos registros detalhados por poucos registros resumidos que são armazenados nas soluções de Business Intelligence. Os data marts e os data warehouses, que constituem o coração das soluções de Business Intelligence, são mini-bancos de dados que permitem aos usuários analisar metadados – ou seja, conjuntos de dados previamente agregados e resumidos com base em critérios definidos – apresentados de forma bastante intuitiva (como gráficos), com o objetivo de verificar tendências, macro-tendências e características marcantes de determinado fenômeno. Os data marts não requerem informações detalhadas, mas dados agregados, para que possam ser utilizados diretamente pelo responsável pela tomada de decisão, reduzindo o tempo e melhorando o uso das informações. Os responsáveis pelo marketing de uma empresa poderão, por exemplo, utilizar os data marts para ter uma ideia do resultado das campanhas de publicidade e comunicação dos últimos cinco anos, e os responsáveis pelas vendas poderão usar os dados de venda “concentrados” para examinar o faturamento de cada produto.no.curso.dos.últimos.anos.de.atividade. Filtragem/Limpeza As aplicações ETL agregam os dados com poucos esforços. A tradução dos valores dos dados é uma técnica de transformação frequentemente utilizada. Os bancos de dados operacionais, de fato, armazenam informações codificadas com o propósito de reduzir ao mínimo o espaço ocupado. No entanto, os data marts contêm informações resumidas e são pensados para fácil utilização. Além de derivar campos de forma simples, a partir da união de dois ou mais campos anteriores, os softwares ETL também permitem criar novos, através do emprego de funções matemáticas ou estatísticas e análises lógicas. Uma rotina de transformação é a limpeza, ou seja, o uso de algoritmos para eliminar do sistema dados não precisos ou inconsistentes em relação ao fenômeno a ser avaliado. As funcionalidades de limpeza também podem ser usadas para substituir por um único valor os dados que aparecem em múltiplas formas dentro do banco de dados: o nome Fiat pode aparecer sob diferentes campos, como Fiat S.p.A., Fiat Auto, Fiat, etc., e durante a fase de limpeza as versões múltiplas do mesmo dado serão substituídas por um único dado – único e unívoco.Carregamento A última fase do processo ETL é o carregamento dos dados na base de dados de destino. Na fase de carregamento existem dois modelos distintos de replicação dos dados. Na replicação “push”, a aplicação envia os dados transformados para o banco de dados de destino. Na replicação “pull”, ao contrário, a aplicação ou o banco de dados de destino solicitam os dados, conforme as necessidades específicas do momento. Os sistemas ETL são, de fato, a infraestrutura chave para o suporte à decisão nos sistemas de Business Intelligence. Eles permitem transformar dados e conteúdos não organizados em informações estrategicamente úteis para tomar decisões críticas e operar com eficácia. Isso é chamado de Information Asset Management, que permite coletar, validar, organizar, gerenciar e distribuir a informação correta para a pessoa certa, no tempo necessário e com a ferramenta mais adequada.O Data Warehouse, como mencionado anteriormente, é o conjunto das estruturas de dados e das ferramentas necessárias para fornecer aos gerentes um suporte à decisão. As informações úteis nesse sentido são derivadas de dados operacionais produzidos e gerenciados por um sistema de informação empresarial inovador. O Data Warehouse não é apenas uma novidade tecnológica, mas também estratégica, já que a atividade de análise se desloca de pessoal especializado para todos os gerentes da empresa. Compreender as tendências e fazer comparações antes de tomar decisões importantes torna-se mais fácil com informações em nível agregado que podem ser visualizadas e analisadas rapidamente. O acesso a dados detalhados é feito quando necessário. O Data Warehouse está na base de toda aplicação de Analytical CRM, pois representa o meio para coletar, validar, integrar e historizar os dados corporativos sobre o cliente provenientes dos canais clássicos ou do canal Web, que constituem a entrada das atividades de análise (os bancos de dados em que se apoia são do tipo relacional, ou seja, interrogáveis diretamente via S.Q.L., Structured Query Language). É, além disso, o conjunto das estruturas de dados e das ferramentas necessárias para obter, a partir de dados operacionais produzidos e gerenciados por um sistema de informação empresarial, informações úteis para os gerentes como suporte à decisão. Webhouse é entendido como um Data Warehouse que também coleta dados provenientes do canal web (clickstream, registros dos usuários, etc.). O Data Warehouse é um banco de dados com as seguintes características: • Orientado a assunto (Subject-oriented): os dados são organizados de acordo com um processo empresarial específico. • Integrado: os dados que entram no Data Warehouse normalmente vêm de várias fontes (sistemas transacionais, operacionais, outros bancos de dados). São limpos e transformados para permitir um acesso simples e eficaz. • Não volátil: o acesso aos dados é somente leitura e é extremamente rápido. • Variável no tempo (Time-variant): os dados são organizados segundo a dimensão temporal, fundamental para análises de negócios. Ao contrário dos Source Systems – em particular os OLTP – os DWH são desenhados e otimizados para processamento analítico. Em colaboração com outras ferramentas e aplicações, os DWH constituem os sistemas OLAP (On-Line Analytical Processing System). Entre as definições mais amplamente reconhecidas de Data Warehouse, duas em particular identificam suas características peculiares: “Uma plataforma na qual dados provenientes das diferentes áreas da organização são arquivados e gerenciados; tais dados são atualizados, integrados e consolidados pelos sistemas operacionais para suportar todas as aplicações de suporte à decisão” (Gartner Group) “Um conjunto de dados orientado a assunto, integrado, variável no tempo, não volátil construído para suportar o processo decisório” (W.H.Inmon) Destaca-se, portanto, primeiramente a característica do Data Warehouse como coleção de dados a apoiar o processo decisório da gestão. O Data Warehouse agrupa dados decisórios por áreas ou temas de interesse e os organiza em função do uso final; difere assim dos bancos de dados tradicionais cujo desenho é guiado pelos requisitos das aplicações que garantem os processos gerenciais. No âmbito do Data Warehouse, as informações assumem valor corporativo em vez de departamental, pois são o resultado integrado de dados provenientes de várias fontes, inclusive externas à empresa. Todas as informações são tornadas coerentes por um modelo comum de dados e pela definição de padrões corporativos (naming convention, unidades de medida, codificações). Tem um horizonte temporal amplo, garantindo a manutenção de informações históricas para favorecer análises comparativas sobre diferentes períodos. As informações são consolidadas, consistentes ao longo do tempo e não modificáveis pelo usuário, que acessa exclusivamente em modo leitura. O termo Data Mart indica coleções de informações voltadas para um público departamental e orientadas a um tema específico. O nível de agregação dos dados no Data Mart é normalmente mais alto que no Data Warehouse, que também contém dados detalhados, pois é projetado para satisfazer de forma mais direta e explícita as necessidades do usuário final. É evidente a importância do princípio da separação entre ambientes operacionais e ambientes decisórios, informativos. A insistência simultânea de duas classes de usuários de natureza e funções diferentes sobre a mesma base de dados causaria problemas de contenção, criando tempos de resposta imprevisíveis e frequentemente inaceitáveis para processos transacionais. Por outro lado, a necessária separação dos ambientes, obtida por meio de um mero processo de replicação dos ambientes transacionais, também não atende às necessidades, pois os bancos de dados operacionais são destinados ao processo e não fornecem uma visão integrada dos dados de interesse. O objetivo do Data Warehouse é fornecer uma resposta rápida e correta a problemas decisórios relacionados às atividades institucionais da Administração, garantindo melhores resultados em termos de eficácia e eficiência. A necessidade informativa obviamente não é nova, mas do ponto de vista tecnológico, hoje existem condições para suportar essa demanda adequadamente. Os aspectos tecnológicos habilitadores são a disponibilidade de poder computacional para gerenciar grandes volumes de dados a baixo custo e a possibilidade de distribuir informações via tecnologia intranet/internet. Deve-se destacar, porém, que, se o fator tecnológico é pressuposto necessário para o desenvolvimento de soluções de Data Warehouse, o fator crítico de sucesso é o envolvimento do usuário final. Apenas um patrocínio adequado por parte da gestão pode garantir a contribuição necessária no projeto de diversos setores da empresa com o respectivo aporte de conhecimento dos processos e dos dados. REPRODUÇÃO RESERVADA.