Czynniki wpływające na migrację danych
Proces migracji danych to zagadnienie, które przysparza organizacjom wielu problemów już w fazie przygotowania projektu. Doświadczenie pozwala wskazać listę krytycznych czynników mających wpływ na prawidłowe przeprowadzanie migracji.
Ustalenie zakresu danych - o ile wskazanie podlegających migracji obszarów działalności przedsiębiorstwa wydaje się być prostym zadaniem, musimy pamiętać, że to dopiero szczegółowa analiza systemów źródłowych i zawartych w nich danych pozwala szczegółowo ustalić, które kategorie danych i w jakim zakresie będą podlegały migracji.
Ustalenie źródeł danych – najczęstszym problemem w projektach migracji jest brak wiedzy o wszystkich źródłach danych. . Największy wpływ ma na to tzw. „dzikie IT”, czyli sytuacja, gdy część danych, które docelowo powinny znaleźć się w systemie docelowym, jest przechowywana w lokalnych niezarejestrowanych bazach lub arkuszach danych.
Nieznajomość struktur danych - konsekwencją braku pełnej wiedzy o źródłach i zakresie danych jest trudność w technicznym wyspecyfikowaniu źródłowych i docelowych struktur danych. W efekcie opracowanie planu migracji od strony technicznej staje się skomplikowane, gdyż algorytmy przetwarzania będą podlegały zmianom przy każdej zmianie struktur danych.
Wypracowanie algorytmów przetwarzania - w dużych projektach, gdzie migracji podlegają dane z przedsiębiorstw wielooddziałowych, z wielu różnych źródeł i typów systemów, niezwykle skomplikowanym działaniem jest zaprojektowanie algorytmów przetwarzania danych, tak aby bezbłędnie zostały zaimportowane do struktur docelowych. Dodatkowym problemem jest nieznajomość technicznych uwarunkowań systemu docelowego, a więc struktur importu oraz wymagań systemu, co do właściwej jakości importowanych danych.
Niska jakość danych - o nie najlepszej jakości danych dowiadujemy się najczęściej już w trakcie ich przetwarzania , gdy okazuje się, że części danych brakuje, występują duplikaty lub nie jest możliwe przetransferowanie danych wprost( np. nie zgadzają się formaty danych, ich długość itp.) Narzędzia migracyjne muszą w takich sytuacjach zapewnić funkcjonalności, które umożliwią dostosowanie jakości danych do akceptowalnego poziomu.
Wpływ na bieżącą działalność organizacji - projekty migracji danych w systemach o kluczowym znaczeniu, nie mogą wstrzymać lub znacząco utrudnić działalności organizacji. Dlatego bardzo ważnym jest, by proces migracji nie miał wpływu na bieżącą działalność organizacji, a sama migracja produkcyjna odbyła się szybko i bezbłędnie.
Katalog czynników mających wpływ na projekty migracji danych nigdy nie jest zamknięty. Zawsze pojawiają się nieprzewidziane sytuacje, dlatego też kluczowym jest wybranie takiego środowiska migracyjnego i metodyki przetwarzania, by na zagrożenia i błędy reagować szybko i skutecznie.
Platforma Migracji Danych
W oparciu o doświadczenia zebrane w wielu projektach migracji danych do systemów SAP, firma SI-Consulting opracowała autorskie rozwiązanie wspierające proces migracji danych w zakresie czyszczenia, konsolidacji i transformacji danych. Wychodząc z założenia, że największym problemem w tego typu projektach jest brak pełnej wiedzy o strukturze i jakości danych oraz potrzeba ciągłego dostosowywania algorytmów przetwarzania, zbudowane zostało narzędzie, które pozwala na elastyczne dostosowywanie procesu przetwarzania. Każdy z elementów tego procesu, tj. dane źródłowe, dane sterujące lub reguły przetwarzania, mogą być dostosowywane w sposób ciągły i wielokrotny, dzięki czemu w elastyczny i bezpieczny sposób udoskonalany jest algorytm migracji danych.
Transformacja danych w oparciu o Platformę Migracji Danych to usługa dedykowana organizacjom planującym migrację danych w środowisku, w którym model przetwarzania danych podlega ciągłym modyfikacjom oraz wymagane jest wielokrotne dostosowywanie algorytmów przetwarzania danych.
Dane
W procesie migracji, oprócz danych podlegających przetworzeniu, wykorzystywane są również różnego typu dane sterujące, np. dane mapowania, dane walidacji. Jednocześnie każdy z projektów migracji danych definiuje unikatowy model przetwarzania danych.
Unikatową funkcją Platformy Migracji Danych jest swobodny i nieograniczony dostęp do wszystkich danych na każdym etapie przetwarzania i z poziomu każdego modułu przetwarzającego te dane.
Oznacza to, że bez względu na typ danych takich jak dane źródłowe, dane sterujące, dane wyjściowe, czy też kolejne wersje przetworzonych danych, są one dostępne w systemie w sposób nieograniczony i mogą posłużyć jako dowolny typ danych wejściowych i w dowolnym strumieniu przetwarzanych danych. Można więc, np. pobrać dane wejściowe, przetworzyć je w dowolny sposób i posłużyć się nimi np. jako danymi mapowania. Co ważne, dane te nie podlegają ograniczeniom czasowym lub procesowym: dane pobrane lub wygenerowane w dniu dzisiejszym w procesie migracji danych indeksów materiałowych mogą pół roku później posłużyć jako dane walidacji lub mapowania w procesie migracji zamówień.
Również w procesach konsolidacji lub podziału rekordów PMD pozwala na elastyczny dostęp do danych. Wersja danych powstała w wyniku mapowania danych w kroku trzecim, może posłużyć jako dane sterujące w procesie konsolidacji w kroku następnym lub późniejszym. PMD nie ogranicza również dostępu do danych w kontekście ilości źródeł danych. Jeśli reguła przetwarzania wymaga jednoczesnego dostępu do danych z pliku zewnętrznego, danych z innego strumienia przetwarzania i danych mapowania podanych przez użytkownika, to jest to scenariusz możliwy do realizacji.
Dane przetwarzania oraz dane sterujące przetwarzaniem dostępne są dla wszystkich reguł i procesów przetwarzania w sposób nieograniczony. Pozwala to na budowę dowolnego modelu migracji danych.
Przetwarzanie danych - iteracyjny model przetwarzania
Przetwarzanie dużych ilości danych często wymaga wielu powtórzeń i modyfikacji tych samych danych. W każdej kolejnej iteracji na podstawie zdobytych doświadczeń eliminowane są błędne dane, konfiguracja dostosowywana jest do nowych wymagań, a algorytmy przetwarzania korygowane są w sposób umożliwiający otrzymanie wyników o wyższym wskaźniku poprawności danych.
Proces przetwarzania
Przetwarzanie danych opiera się na wykorzystaniu Pakietów Danych w połączeniu z Pakietami Procedur. Pakiety danych mogą zawierać dane z wielu źródeł jednocześnie, mogą być modyfikowane i wykorzystywane wielokrotnie. Pakiety Procedur to zestawy Reguł wielu typów. Możliwe jest wykorzystanie reguł standardowych (walidacja, mapowanie, operacje masowe), które podlegają konfiguracji, jak i reguł niestandardowych. Reguła niestandardowa może być oparta o kod ABAP, co pozwala na zaprogramowanie dowolnej logiki przetwarzania. Przykładem takiej reguły jest moduł konsolidacji danych, gdzie przetwarzanie delegowane jest do zewnętrznego raportu, w którym zaszyte są algorytmy przetwarzania zgodnie z wymaganiami w danym otoczeniu biznesowym.
Repozytorium Reguł umożliwia zaimplementowanie dowolnego algorytmu przetwarzania danych w oparciu o reguły konfigurowalne oraz reguły oparte o kod ABAP.
Do zarządzania regułami służy moduł Repozytorium Reguł, gdzie możliwe jest ich tworzenie i edycja. Reguły których działanie wymaga danych zewnętrznych (np. dane mapowania), umożliwiają zachowanie modelu reguły, czyli wielu wersji konfiguracji jednej reguły. Pozwala to na wielokrotne przetwarzanie danych przy wykorzystaniu różnych danych konfiguracyjnych. Wielokrotne przetwarzanie możliwe jest dzięki zastosowaniu mechanizmu wycofywania wariantu danych, czyli cofania przetwarzania wstecz do wskazanego momentu przetwarzania. Po przetworzeniu danych przez regułę możliwe jest uruchomienie Pakietu Procedur Weryfikacji, w celu bieżącej kontroli poprawności przetwarzania.
Monitor Przetwarzania
Migracja danych wrażliwych zawsze niesie ze sobą niebezpieczeństwo popełnienia błędu. Podczas migracji dużych ilości danych wymagane jest dostarczenie narzędzi umożliwiających raportowanie wszystkich zdarzeń i zmian mających miejsce w procesie migracji.
Platforma Migracji Danych w pełni wspomaga użytkownika w tym obszarze. Monitor Przetwarzania to grupa procesów działających w tle, które na każdym etapie przetwarzania gromadzą informacje o wykonywanych operacjach oraz protokoły ich wykonania. Wywołanie każdej reguły oraz każda zmiana danych powoduje zarejestrowanie tego faktu w logach przetwarzania. Jednocześnie procesy te dbają o zapamiętanie każdej wersji danych przetwarzania oraz danych sterujących. Monitor Przetwarzania wspomaga również użytkownika w procesie przygotowania kolejnych iteracji przetwarzania danych.
Wykorzystując zgromadzone dane Monitor Przetwarzania umożliwia m.in.:
- uruchomienie śledzenia zmian dla wskazanego rekordu,
- wyświetlenie rekordów skonsolidowanych i podzielonych,
- wyświetlanie historii przetwarzania również dla obiektów skonsolidowanych/rozdzielonych wraz z ich historiami,
- wyświetlanie historii zmian atrybutów rekordu wstecz, aż do momentu w którym odnajdowany jest rekord źródłowy,
- wyświetlanie zawartości logów w poszczególnych modułach (wg kontekstu),
- wyprowadzanie protokołów Procedur (pojedynczych, zbiorczych etc.) na ekran i do pliku.
Uruchomienie funkcji raportowania Monitora Przetwarzania możliwe jest na każdym etapie przetwarzania oraz dla dowolnie wskazanych danych.
Raportowanie
PMD dostarcza zestaw raportów wspomagających pracę z systemem oraz będących funkcjonalnościami wspomagającymi dla Konsoli Audytu.
- Raport przepływów danych dostarcza pełną informację o przepływie danych od źródła danych do danych eksportu.
- Raport podglądu i porównania danych - pozwala na przeglądanie i porównywanie danych w procesie przetwarzania, z wyszczególnieniem zmodyfikowanych danych oraz dostępem do logów przetwarzania najmniejszej jednostki danych.
- Raport wglądu w logi ogólne – przegląd dziennika działań i zdarzeń o charakterze ogólnym: typu kasowanie danych, zakładanie obiektów, usuwanie obiektów.
- Raport jakościowo – ilościowy - generuje zestawienia dla wybranych obiektów systemu PMD, dane o ilości i jakości przetwarzanych rekordów.
Platforma Migracji Danych w praktyce
Platforma Migracji Danych wykorzystana została w ramach projektu migracji danych zrealizowanej dla jednego z naszych Klientów.
Migracja w liczbach w oparciu o statystyki wygenerowane przez funkcjonalności audytu:
Najistotniejsze korzyści PMD:
- Zautomatyzowana konsolidacja dostawców i konsolidacja odbiorców
Przetwarzanych ok 400 tyś dostawców i odbiorców.
Po skonsolidowaniu załadowano do SAP 230 tyś dostawców i odbiorców. - Zautomatyzowana operacja ujednolicenia, czyszczenia i łączenia środków trwałych
Przetworzono niespełna 500 tyś środków trwałych.
Po przetworzeniu załadowano 380 tyś środków trwałych. - Zautomatyzowana konsolidacja indeksów materiałowych
Przetworzono ponad 300 tyś indeksów materiałowych z 13 oddziałów.
Po przetworzeniu załadowano niespełna 26 tyś indeksów materiałowych. - Ujednolicenie struktury nakładów inwestycyjnych
Przetworzono ponad 80 tyś projektów inwestycyjnych z niespełna 600 tyś pozycji pojedynczych. - Skrócenie czasu migracji
Skrócono o połowę czas migracji produktywnej - zależnie od obszaru z 2-5 dni do 1-3 dni niedostępności systemów produkcyjnych. - Autoryzacja i log audytowy
Gwarancja odpowiedniej autoryzacji dostępu do danych migrowanych
Logowanie wszelkich zmian dokonywanych w danych i możliwość prześledzenia każdego kroku czyszczenia, w tym ręcznych korekt danych– szczególnie istotne dla danych finansowych - BEZBŁĘDNA migracja produktywna
Wszystkie dane produktywne zostały załadowane poprawnie – 100%. - Zmniejszenie niezbędnego zaangażowania pracowników
Zmniejszono o 40% ilość osób dedykowanych na 100% do realizacji migracji po stronie Zamawiającego z planowanych 40 do 25 osób.
Z uwagi na dostępność narzędzi walidacyjnych i raportów, możliwość równoległej pracy oraz ręcznej korekty danych, PMD skróciło czas i pracochłonność analizy danych przez pracowników Klienta o dalsze 30%.
Szacowane łączne zmniejszenie kosztów pracy pracowników Klienta podczas migracji: około 35% przy jednoczesnym zapewnieniu jakości, bezpieczeństwa i transparentności całego procesu migracji na poziomie nieporównywalnym z tradycyjnym podejściem do migracji opartym na czyszczeniu danych w plikach.
Platforma Migracji Danych dostarcza unikatowych funkcjonalności, które nie są dostępne w innych produktach wspomagających przetwarzanie danych. Jednocześnie jako platforma otwarta na zmiany umożliwia łatwe rozszerzenie dostępnych funkcjonalności. Rozwiązanie oparte o Reguły jako niezależnie programowalnych modułach, pozwala na zaprojektowanie i wykonanie wszystkich wymaganych przekształceń w ramach Platformy, bez potrzeby dodatkowego przetwarzania w środowiskach zewnętrznych. W praktyce umożliwia to pełne raportowanie zmian danych w całym procesie przetwarzania (np. na potrzeby audytu), co nie jest możliwe w przypadku częściowego przetwarzania poza środowiskiem migracyjnym. Pełna znajomość środowiska pozwala również na wprowadzanie w porozumieniu z Klientem zmian lub nowych funkcjonalności. W razie potrzeby możliwa jest modyfikacja rozwiązań standardowych tak, by narzędzie w pełni dostosować do konkretnych wymagań.
PMD jest narzędziem przygotowanym do wsparcia czyszczenia, konsolidacji i transformacji danych w projektach migracji danych do systemów S/4HANA w ramach wdrożeń tych systemów w opcji greenfield.
