Business Intelligence : Du Source System au Data Warehouse : processus ETL

Suivez FullPress sur Google

Ajoutez-nous à vos sources préférées.

Le processus ETL comporte plusieurs étapes. L’extraction, la première d’entre elles, implique la mise en place de routines capables de lire les enregistrements contenus dans la base de données source et de les préparer pour la phase suivante de transformation.TransformationLa plupart des outils prévoient des routines d’extraction spécifiques pour les systèmes ERP ou applications les plus connus. Après avoir collecté les données, les routines de transformation les préparent pour leur nouvelle destination. Il existe différentes techniques de transformation. L’agrégation permet de remplacer de nombreux enregistrements détaillés par quelques enregistrements synthétiques qui sont stockés dans les solutions de Business Intelligence. Les data marts et les data warehouses, qui constituent le cœur des solutions de Business Intelligence, sont des mini bases de données qui permettent aux utilisateurs d’analyser des métadonnées – c’est-à-dire des ensembles de données préalablement agrégées et résumées selon des critères définis – présentées de manière plutôt intuitive (comme des graphiques), dans le but de vérifier des tendances, des macro-tendances et des caractéristiques clés d’un phénomène donné. Les data marts ne requièrent pas d’informations détaillées mais des données agrégées, afin de pouvoir être utilisés directement par le responsable décisionnel, réduisant les délais et améliorant l’utilisation des informations. Par exemple, les responsables marketing d’une société pourront utiliser les data marts pour avoir une idée des résultats des campagnes publicitaires et de communication des cinq dernières années, tandis que les responsables des ventes pourront utiliser des données de vente « concentrées » pour examiner le chiffre d’affaires de chaque produit au cours des dernières années d’activité.Filtrage/NettoyageLes applications ETL agrègent les données avec peu d’efforts. La traduction des données en valeurs est une technique de transformation fréquemment utilisée. Les bases de données opérationnelles stockent en effet des informations codées afin de minimiser l’espace occupé. Cependant, les data marts contiennent des informations résumées et sont conçus pour une utilisation facile. En plus de dériver des champs simples à partir de la combinaison de deux ou plusieurs champs existants, les logiciels ETL permettent aussi d’en créer de nouveaux grâce à l’utilisation de fonctions mathématiques ou statistiques et d’analyses logiques. Une routine de transformation est le nettoyage, c’est-à-dire l’utilisation d’algorithmes pour éliminer du système les données inexactes ou incohérentes par rapport au phénomène à évaluer. Les fonctionnalités de nettoyage peuvent également être utilisées pour remplacer par une valeur unique les données qui apparaissent sous plusieurs formes dans la base de données : le nom Fiat peut apparaître sous différents champs, tels que Fiat S.p.A., Fiat Auto, Fiat, etc., et lors de la phase de nettoyage, les versions multiples de la même donnée seront remplacées par une donnée unique et univoque.ChargementLa dernière étape du processus ETL est le chargement des données dans la base de données de destination. Lors de cette phase de chargement, il existe deux modèles distincts de réplication des données. Dans la réplication « push », l’application pousse les données transformées vers la base de données de destination. Dans la réplication « pull », au contraire, l’application ou la base de données de destination demandent les données selon les besoins spécifiques du moment. Les systèmes ETL constituent en effet l’infrastructure clé pour le support décisionnel des systèmes de Business Intelligence. Il s’agit de systèmes qui permettent de transformer les données et contenus non organisés en informations stratégiquement utiles pour prendre des décisions critiques et agir efficacement. Cela s’appelle la gestion des actifs d’informations (Information Asset Management), qui permet de collecter, valider, organiser, gérer et distribuer la bonne information à la bonne personne, au bon moment et avec l’outil le plus approprié.Le Data Warehouse, comme mentionné précédemment, est l’ensemble des structures de données et des outils nécessaires pour fournir aux managers un support décisionnel. Les informations utiles à cet égard sont tirées de données opérationnelles produites et gérées par un système d’information d’entreprise innovant. Le Data Warehouse n’est pas seulement une nouveauté technologique, mais aussi stratégique, car l’activité d’analyse passe du personnel spécialisé à tous les managers de l’entreprise. Comprendre les tendances et faire des comparaisons avant de prendre des décisions importantes devient plus facile grâce à des informations agrégées qui peuvent être visualisées et analysées rapidement. L’accès aux données détaillées se fait si nécessaire. Le Data Warehouse est à la base de toute application d’Analytical CRM car il représente le moyen de collecter, valider, intégrer et historiser les données sur le client provenant des canaux classiques ou du canal Web, qui constituent l’entrée des activités d’analyse (les bases de données utilisées sont relationnelles, c’est-à-dire directement interrogeables via le SQL, Structured Query Language). De plus, c’est l’ensemble des structures de données et des outils nécessaires pour obtenir, à partir des données opérationnelles produites et gérées par un système d’information d’entreprise, des informations utiles aux managers en tant que support à la décision. Le terme Webhouse désigne un Data Warehouse rassemblant également des données issues du canal web (clickstream, enregistrements des utilisateurs, etc.). Le Data Warehouse est une base de données avec les caractéristiques suivantes : • Subject-oriented : les données sont organisées en fonction d’un processus d’entreprise spécifique. • Integrated : les données qui affluent dans le Data Warehouse proviennent normalement de différentes sources (systèmes transactionnels, opérationnels, autres bases de données). Elles sont nettoyées et transformées pour en permettre un accès simple et efficace. • Non-volatile : l’accès aux données se fait en lecture seule et est extrêmement rapide. • Time-variant : les données sont organisées selon la dimension temporelle, fondamentale pour les analyses business. Contrairement aux systèmes sources – notamment les OLTP – les DWH sont conçus et optimisés pour le traitement analytique. En collaboration avec d’autres outils et applications, les DWH constituent les systèmes OLAP (On-Line Analytical Processing System). Parmi les définitions les plus largement reconnues du Data Warehouse, deux en particulier identifient ses caractéristiques spécifiques : “Une plateforme sur laquelle sont stockées et gérées des données provenant des différentes zones de l’organisation ; ces données sont mises à jour, intégrées et consolidées par les systèmes opérationnels pour supporter toutes les applications d’aide à la décision” (Gartner Group) “Un ensemble de données subject oriented, intégré, time variant, non volatile conçu pour soutenir le processus décisionnel” (W.H.Inmon) On souligne donc avant tout la caractéristique du Data Warehouse comme une collection de données à support du processus décisionnel du management. Le Data Warehouse regroupe les données décisionnelles par domaines ou thèmes d’intérêt et les organise selon leur utilisation finale ; il se différencie ainsi des bases de données traditionnelles dont la conception est guidée par les exigences des applications qui assurent les processus de gestion. En matière de Data Warehouse, les informations ont une valeur d’entreprise plutôt que départementale, parce qu’elles sont le résultat intégré de données provenant de plusieurs sources, y compris externes à l’entreprise. Toutes les informations sont rendues cohérentes par un modèle commun de données et par la définition de normes d’entreprise (conventions de nommage, unités de mesure, codifications). Il a un horizon temporel large, garantissant la conservation d’informations historiques, afin de favoriser les activités d’analyse comparative sur différentes périodes temporelles. Les informations sont consolidées, cohérentes dans le temps et non modifiables par l’utilisateur qui y accède uniquement en lecture. Le terme Data Mart désigne des collections d’informations ciblées à destination d’un utilisateur départemental et orientées vers un thème spécifique. Le niveau d’agrégation des données dans le Data Mart est souvent plus élevé que dans le Data Warehouse, qui contient également des données détaillées, car il est conçu pour satisfaire de manière plus directe et explicite les besoins de l’utilisateur final. L’importance du principe de séparation entre environnements opérationnels et environnements décisionnels, informatifs, est évidente. La présence simultanée de deux classes d’utilisateurs de nature différente et avec des fonctions différentes sur la même base de données poserait des problèmes de concurrence, entraînant des temps de réponse non planifiables et souvent inacceptables pour les processus transactionnels. Par ailleurs, la nécessaire séparation des environnements, obtenue par un simple processus de réplication des environnements transactionnels, ne répond pas aux besoins, car les bases de données opérationnelles sont orientées processus et ne fournissent pas une vision intégrée des données d’intérêt. L’objectif du Data Warehouse est de fournir une réponse rapide et précise aux problèmes décisionnels liés aux activités institutionnelles de l’Administration, garantissant de meilleurs résultats en efficacité et efficience. Le besoin d’information n’est évidemment pas nouveau, mais d’un point de vue technologique, il existe aujourd’hui les conditions pour répondre à cette demande de manière adéquate. Les aspects technologiques habilitants sont la disponibilité de puissance de calcul pour gérer de gros volumes de données à faible coût et la possibilité de distribution des informations via la technologie intranet/internet. Il convient toutefois de souligner que, si le facteur technologique est une condition nécessaire au développement de solutions Data Warehouse, le facteur critique de succès est l’engagement de l’utilisateur final. Seule une sponsorship adéquate de la part de la direction peut garantir la contribution nécessaire au projet de différents secteurs de l’entreprise avec l’apport correspondant de connaissance des processus et des données. REPRODUCTION RÉSERVÉE.