Business Intelligence: Vom Quellsystem zum Data Warehouse: ETL-Prozess

FullPress auf Google folgen

Füge uns deinen bevorzugten Quellen hinzu.

Verschiedene Phasen durchläuft ein ETL-Prozess. Die Extraktion, die erste davon, beinhaltet die Einrichtung von Routinen, die in der Lage sind, Datensätze aus der Quellendatenbank zu lesen und für die anschließende Transformationsphase vorzubereiten. Transformation Die meisten Tools sehen spezifische Extraktionsroutinen für die bekanntesten ERP-Systeme oder verbreitetsten Anwendungen vor. Nach dem Sammeln der Daten bereiten die Transformationsroutinen diese für ihren neuen Einsatzort vor. Es gibt verschiedene Transformationstechniken. Die Aggregation ermöglicht es, zahlreiche Detaildatensätze durch wenige zusammenfassende Datensätze zu ersetzen, die in Business-Intelligence-Lösungen gespeichert werden. Die Data Marts und Data Warehouses, die das Herzstück der Business-Intelligence-Lösungen bilden, sind Mini-Datenbanken, die es den Nutzern ermöglichen, Metadaten – das sind zuvor aggregierte und zusammengefasste Datensätze basierend auf bestimmten Kriterien – auf eher intuitive Weise (wie z.B. durch Grafiken) darzustellen, um Trends, Makrotendenzen und hervorstechende Merkmale eines bestimmten Phänomens zu überprüfen. Data Marts benötigen keine detaillierten Informationen, sondern aggregierte Daten, um direkt vom Entscheidungsträger genutzt zu werden, wodurch die Zeit verkürzt und die Nutzung der Informationen verbessert wird. Marketingverantwortliche eines Unternehmens können beispielsweise Data Marts verwenden, um sich einen Überblick über den Erfolg der Werbe- und Kommunikationskampagnen der letzten fünf Jahre zu verschaffen, Vertriebsleiter können „konzentrierte“ Verkaufsdaten nutzen, um den Umsatz jedes Produkts im Laufe der letzten Jahre zu analysieren. Filterung/Reinigung ETL-Anwendungen aggregieren Daten mit geringem Aufwand. Die Übersetzung von Daten in Werte ist eine häufig genutzte Transformationstechnik. Operative Datenbanken speichern nämlich kodierte Informationen, um den Speicherbedarf zu minimieren. Data Marts jedoch enthalten zusammengefasste Informationen und sind für eine einfache Nutzung konzipiert. Neben dem einfachen Ableiten von Feldern durch die Kombination von zwei oder mehr vorherigen Feldern ermöglichen ETL-Softwarelösungen auch die Erstellung neuer Felder mittels mathematischer oder statistischer Funktionen sowie logischer Analysen. Eine Transformationsroutine ist die Bereinigung, also der Einsatz von Algorithmen, um ungenaue oder nicht konsistente Daten im System zu entfernen, die nicht zum zu bewertenden Phänomen passen. Die Bereinigungsfunktionen können auch verwendet werden, um Daten, die in der Datenbank vielfach in unterschiedlichen Varianten erscheinen, durch einen einzigen Wert zu ersetzen: Der Name Fiat kann in verschiedenen Formen auftreten, wie Fiat S.p.A., Fiat Auto, Fiat usw., und während der Bereinigungsphase werden die mehrfachen Varianten durch einen einzigen – eindeutigen – Wert ersetzt. Laden Die letzte Phase des ETL-Prozesses ist das Laden der Daten in die Zieldatenbank. Im Ladeprozess gibt es zwei unterschiedliche Datenreplikationsmodelle. Bei der „Push“-Replikation schiebt die Anwendung die transformierten Daten zur Zieldatenbank. Bei der „Pull“-Replikation hingegen fordert die Anwendung oder die Zieldatenbank die Daten gemäß den aktuellen Bedürfnissen an. ETL-Systeme sind nämlich die Schlüssel-Infrastruktur zur Entscheidungsunterstützung der Business-Intelligence-Systeme. Sie sind Werkzeuge, die es erlauben, unstrukturierte Daten und Inhalte zu transformieren und in strategisch wertvolle Informationen umzuwandeln, um kritische Entscheidungen treffen und effektiv handeln zu können. Dies wird Information Asset Management genannt und ermöglicht das Sammeln, Validieren, Organisieren, Verwalten und Verteilen der korrekten Information zur richtigen Person, zum richtigen Zeitpunkt und mit dem jeweils geeigneten Medium. Das Data Warehouse, wie bereits erwähnt, ist die Gesamtheit der Datenstrukturen und Werkzeuge, die nötig sind, um Managern eine Entscheidungsunterstützung zu bieten. Nützliche Informationen werden dazu aus operativen Daten gewonnen, die von einem innovativen unternehmensinternen Informationssystem erzeugt und verwaltet werden. Das Data Warehouse ist nicht nur eine technologische, sondern auch eine strategische Neuerung, da die Analyseaktivität von spezialisierten Mitarbeitern auf alle Manager im Unternehmen ausgeweitet wird. Es wird leichter, Trends zu verstehen und Vergleiche anzustellen, bevor wichtige Entscheidungen getroffen werden, dank aggregierter Informationen, die schnell visualisiert und analysiert werden können. Der Zugriff auf detaillierte Daten erfolgt bei Bedarf. Das Data Warehouse bildet die Grundlage jeder Analytical-CRM-Anwendung, da es das Mittel ist, um Unternehmensdaten über Kunden aus klassischen Kanälen oder dem Web-Kanal zu sammeln, zu validieren, zu integrieren und historisch zu speichern, welche die Eingabe für Analyseaktivitäten darstellen (die zugrunde liegenden Datenbanken sind relational und können direkt über S.Q.L., Structured Query Language, abgefragt werden). Außerdem ist es die Gesamtheit der Datenstrukturen und Werkzeuge, die notwendig sind, um aus operativem Datenmaterial eines betrieblichen Informationssystems für Manager nützliche Entscheidungsunterstützung zu gewinnen. Unter dem Begriff Webhouse versteht man ein Data Warehouse, das auch Daten aus dem Web-Kanal sammelt (Clickstream, Benutzerregistrierungen usw.). Das Data Warehouse ist eine Datenbasis mit folgenden Merkmalen: • Subject-oriented: Die Daten sind nach einem spezifischen Geschäftsprozess organisiert. • Integriert: Die Daten, die ins Data Warehouse einfließen, stammen meist aus verschiedenen Quellen (transaktionale Systeme, operative Systeme, andere Datenbanken). Sie werden bereinigt und transformiert, um einfachen und effektiven Zugriff zu ermöglichen. • Nicht flüchtig: Der Datenzugriff ist nur lesend und sehr schnell. • Zeitvariant: Die Daten sind in ihrer zeitlichen Dimension organisiert, was für Geschäftsanalysen wesentlich ist. Im Unterschied zu Quellsystemen – insbesondere OLTP-Systemen – sind Data Warehouses für analytische Verarbeitung entworfen und optimiert. In Verbindung mit anderen Tools und Anwendungen bilden Data Warehouses die OLAP-Systeme (On-Line Analytical Processing System). Unter den allgemein anerkannten Definitionen des Data Warehouse heben zwei besonders die wesentlichen Charakteristika hervor: „Eine Plattform, auf der Daten aus verschiedenen Bereichen der Organisation gespeichert und verwaltet werden; diese Daten werden von operativen Systemen aktualisiert, integriert und konsolidiert, um alle Anwendungen der Entscheidungsunterstützung zu unterstützen“ (Gartner Group) „Eine Sammlung von Daten, die subject-orientiert, integriert, zeitvariant und nicht flüchtig ist, gebaut zur Unterstützung des Entscheidungsprozesses“ (W.H.Inmon) Hervorzuheben ist somit vor allem die Eigenschaft des Data Warehouse als Sammlung von Daten zur Unterstützung des Management-Entscheidungsprozesses. Das Data Warehouse gruppiert entscheidungsrelevante Daten nach Bereichen oder Themen und organisiert sie im Hinblick auf die endgültige Nutzung; es unterscheidet sich dadurch von herkömmlichen Datenbanken, deren Gestaltung durch die Anforderungen der Anwendungen für das Management von Geschäftsprozessen bestimmt ist. Im Data-Warehouse-Bereich gewinnen Informationen unternehmerischen Wert statt rein abteilungsbezogenen, da sie das integrierte Resultat von Daten aus mehreren Quellen, auch externen, sind. Alle Informationen werden durch ein gemeinsames Datenmodell und die Definition von Unternehmensstandards (Namenskonventionen, Maßeinheiten, Codierungen) konsistent gemacht. Es hat einen umfangreichen zeitlichen Horizont und garantiert die Aufbewahrung historischer Informationen, um vergleichende Analysen über verschiedene Zeiträume zu ermöglichen. Die Informationen sind konsolidiert, über die Zeit konsistent und können vom Benutzer nur lesend aufgerufen werden. Mit dem Begriff Data Mart bezeichnet man Sammlungen von Informationen, die auf eine abteilungsbezogene Nutzergruppe und ein spezifisches Thema ausgerichtet sind. Das Aggregationsniveau der Daten im Data Mart ist oft höher als im Data Warehouse, das auch Detaildaten enthält, da es direkter und expliziter auf die Bedürfnisse der Endnutzer ausgelegt ist. Die Bedeutung der Trennung zwischen operativen Umgebungen und Entscheidungs- bzw. Informationsumgebungen ist offensichtlich. Die gleichzeitige Nutzung derselben Datenbasis durch zwei Nutzerklassen mit unterschiedlichen Funktionen würde Konkurrenzprobleme verursachen und nicht planbare sowie oft unakzeptable Reaktionszeiten in den transaktionalen Prozessen hervorrufen. Andererseits genügt die notwendige Trennung der Umgebungen, die durch eine reine Replikation der transaktionalen Umgebungen erreicht wird, ebenfalls nicht, denn operative Datenbanken sind auf den Prozess ausgerichtet und bieten keine integrierte Sicht auf die interessierenden Daten. Ziel des Data Warehouse ist es, zeitnah und korrekt auf Entscheidungsprobleme im Zusammenhang mit den institutionellen Aktivitäten der Verwaltung zu reagieren, um bessere Ergebnisse hinsichtlich Effektivität und Effizienz zu gewährleisten. Das Informationsbedürfnis ist selbstverständlich nicht neu, aber technologisch bestehen heute Bedingungen, diese Nachfrage angemessen zu erfüllen. Erzeugende technologische Aspekte sind die Verfügbarkeit von Rechenleistung zur kostengünstigen Verarbeitung großer Datenmengen und die Möglichkeit der Informationsverteilung mittels Intranet/Internet-Technologie. Es sei jedoch betont, dass, obwohl der technologische Faktor notwendige Voraussetzung für die Entwicklung von Data-Warehouse-Lösungen ist, der kritische Erfolgsfaktor die Einbindung des Endbenutzers ist. Nur eine angemessene Unterstützung durch das Management kann den notwendigen Beitrag verschiedener Unternehmensbereiche mit dazugehörigem Prozess- und Datenwissen im Projekt sicherstellen. ALLE RECHTE VORBEHALTEN.