ETL - (z ang. Extract, Transform, Load) jest to proces, którego celem jest wypełnienie danymi z różnych źródeł hurtowni danych. Zgodnie z nazwą proces ten składa się z 3 kroków: Ekstrakcja, Transformacja oraz Ładowanie.

Ekstrakcja

Pobieranie danych z systemów i źródeł operacyjnych organizacji (systemy SAP, CRM, ERP). Sam proces ekstrakcji może być przeprowadzany jako pobieranie danych bezpośrednio ze źródłowych systemów bazodanowych jak i poprzez pobieranie danych zawartych w różnego rodzaju plikach (formaty typu XML, csv, itp.).

Transformacja

W ramach transformacji przeprowadzane są operacje na danych przygotowujące je do składowania w hurtowni danych. Do operacji tych zaliczane są: walidacja, filtrowanie, zastosowanie reguł biznesowych (kalkulacje). Poszczególne operacje pozwalają na zweryfikowanie poprawności przychdzących danych, wybranie odpowiednich danych, czy też odpowiednią ich interpretację.

Ładowanie

Końcowy proces ETL to ładowanie danych do hurtowni będącej źródłem danych pod generowane na ich podstawie raportów.

Przygotowanie projektu procesów ETL polega głównie na dokładnej analizie i wiedzy o danych pobieranych z innych systemów oraz precyzyjne wyznaczenie obszarów danych, które następnie będą wykorzystywane do tworzenia raportów. Same procesy są następstwem takiej analizy, a ich poziom odwzorowania projektu decyduje o jakości danych zawartych w huratowni.

Pierwszym etapem do budowy procesów ETL jest zdefiniowanie dokładna analiza i zdefiniowanie projektu. Na jego podstawie i przy użyciu odpowiednich narzędzi budowany jest proces ETL. Podczas procesu budowy ETL-a oprócz manipulowania danymi definiowane są ramy czasowe i organizacyjne według, których procesy będą funkcjonować. Do takich ram można zaliczyć ustalenie synchronizacji we współpracy ze źrółami danych, ustalenie harmonogramu uruchamiania procesów, czy zdefiniowanie struktur monitorujących ten proces.

Podstawowe narzędzia ETL używane do tego celu to:

•     Informatica PowerCenter
•     Oracle Warehouse Builder
•     IBM Websphere DataStage
•     Microsoft SQL Server Integration Services
•     BusinessObjects Data Integrator

Nasza firma oferuje kompleksowe usługi w zakresie przetwarzania i analizy danych. Projektowanie i tworzenie hurtowni danych jest jedną z wiodących aspektów naszej działalności.

Doświadczenia zdobyte w wielu projektach, w których uczestniczyliśmy, pozwalają nam na:

•  odpowiedni wybór rozwiązań dopasowany indywidualnie do każdego klienta,
•  dokładną analizę danych oraz związanych z nimi potrzeb klienta w celu uniknięcia tworzenia nadmiarowych rozwiązań, a skupieniu się na kluczowych obszarach danych
•  wsparcie dla wdrożonych rozwiązań oraz ich tuningowanie