Architektura Hurtowni Danych

System Hurtowni Danych jest głównym repozytorium wszystkich danych z organizacji, niezależnie od źródła ich pochodzenia (danych dotyczących sprzedaży, wyników finansowych, marketingu itp.). Aby zapewnić odpowiednie możliwości raportowe, elastyczność oraz wymaganą zdolności agregacji i przetwarzania danych architektura Hurtowni Danych składa się 5 podstawowych komponentów:

Źródła danych

• Wewnętrzne źródła danych / bazy operacyjne Wszelkie informacje wytwarzane, raportowane i konsolidowane wewnątrz organizacji; przykłady: zamówienia i sprzedaże, transakcje dokonane przez organizację, leady i prospekty, dane z systemu CRM
• Zewnętrzne źródła danych Wszelkie informacje pochodzące z zewnątrz organizacji; przykłady: informacje zebrane podczas prowadzonych badań klientów, informacje z wywiadowni gospodarczych

Narzędzia ETL

Hurtownia Danych wykorzystująca typowe narzędzia ETL (Extract – Transform – Load) bazuje na procesach strukturyzacji, integracji oraz na poziomach dostępu do danych w zależności od roli, jaką użytkownik pełni w organizacji

• Serwer służący do strukturyzacji: baza przechowująca surowe dane źródłowe do dalszego procesowania przed załadowaniem ich Hurtowni. Możliwość tworzenia wielu różnorakich baz w zależności od potrzeb (np. oddzielne bazy dla oddzielnych departamentów organizacji)
• Warstwa integracji – na niej ma miejsce integracja niepowiązanych danych za pomocą operacyjnej bazy ODS (ang. Operational Data Store)
• Zintegrowane dane są następnie ładowane do bazy danych Hurtowni, za pomocą której następuje ich dalsza obróbka

Każdy z kroków ETL zapewnia monitoring i kontrolę ewentualnych błędów, aby wyeliminować je przed umieszczeniem zintegrowanych danych w Hurtowni Danych.

Serwer Hurtowni Danych (DWH)

Serwer Hurtowni Danych (DWH server) to pamięć fizyczna służąca przechowywaniu modeli danych dla potrzeb Hurtowni Danych. Mapowanie danych z systemów źródłowych (pkt.1) do modelu danych wykorzystywanego przez Hurtownię Danych pozwala upewnić się, że dysponujemy wystarczającą ilością danych z określonych zakresów, aby spełnić postawione wymagania w zakresie sprawozdawczości. Optymalizacja konfiguracji serwera DWH jest kluczowa dla zapewnienia odpowiednich mocy przerobowych, by wykonać zadane procesy analityczne jednocześnie przechowując, zarządzając i chroniąc dane historyczne. Głównym zadaniem Hurtowni Danych jest raportowanie i publikacja konkretnych, wymaganych zestawów danych, aby w jak najbardziej efektywny sposób wspierać wszelkie procesy decyzyjne w organizacji.

Kostki OLAP

OLAP (ang. Online Analytical Processing) – analityczne przetwarzanie danych – jest procesem mającym na celu uformowanie ich w wielowymiarowy model zdefiniowany przez kostkę OLAP, dla przyszłego wykorzystania w analizach. Wykorzystując kostki OLAP, organizacja może:

• Tworzyć i jednocześnie sprawdzać skomplikowane wyliczenia i analizy
• Rozpoznawać i definiować zależności oraz różnice
• Rozpoznawać i definiować trendy oraz wyjątki od nich

Data Mining / Narzędzia raportowania

Data Mining to analizy zestawów danych w celu odkrycia znaczeń stojących za danymi – przewidywania zachowań, prognozowania trendów – oraz raportowania tychże informacji w przystępnej i zrozumiałem formie. Chcesz wiedzieć więcej o Hurtowniach Danych napisz do nas info@cogit.pl lub zadzwoń pod numer telefonu +48 22 496 60 00.

Zobacz też film o możliwościach jakie dostarcza chmura Microsoft Azure w obszarze Hurtowni Danych. Choć chmura nie zawsze może być najlepszym rozwiązaniem… to tę opcję też warto rozważyć podczas decyzji o wdrożeniu czy migracji.