Zadania i Przetwarzania
Na całość Przetwarzania danych składają się dwa komponenty ściśle ze sobą współpracujące:
- Hierarchia zadań TH (Task Hierarchy)
Celem mechanizmu uruchamiania zadań (Hierarchia zadań TH) jest podział długotrwałych procesów zadaniowych na mniejsze bloki funkcjonalne. Oznacza to, iż Użytkownik ma możliwość podziału zazwyczaj skomplikowanego i pracochłonnego procesu realizacyjnego na kilka mniejszych zadań. Taki podział zadania na krótsze fragmenty sprawia, iż proces realizacji staje się uporządkowany, bardziej przejrzysty i łatwiejszy w kontroli. W przypadku awarii któregoś z zadań podrzędnych, istnieje możliwość przywrócenia procesu do działania bezpośrednio od miejsca uszkodzenia, wystąpienia problemu. Powoduje to znaczne zwiększenie wydajności i skrócenie czasu realizacji, gdyż nie wymaga powrotu do samego początku procesu. Więcej informacji - patrz: Zadania.
- Transformacje danych DT (Data Transformation)
Komponent systemu (Transformacje danych DT) umożliwia projektowanie przepływów rekordów między poszczególnymi zadaniami modyfikującymi dane. Pojedynczy przepływ nazywany jest właśnie „pakietem przetwarzania”. Pakiet przetwarzania jest graficznym opisem poszczególnych kroków przetwarzania danych. Poziom skomplikowania pakietu może mieć postać zarówno bardzo prostego grafu skierowanego jak i złożonego, kolejkowego, wielozadaniowego i kompleksowego schematu transformacji pliku, obejmującego dane z baz, usług Web-service czy plików indeksowanych w pamięci.
Dla każdego pakietu można zdefiniować zestaw parametrów: nazwy plików źródłowych, lokalizację baz danych czy ścieżkę do pliku z wykazem błędów.
Do budowy kompletnego, działającego rozwiązania potrzebny jest również element, który będzie w odpowiednim momencie i we właściwy sposób uruchamiał zadania/pakiety. Można tu stosować różne warianty hostowania:
- za pomocą programów konsolowych: TransformationRunner.exe oraz TransformationService.exe, wywoływanych np. jako usługa Windows,
- w odrębnej aplikacji do harmonogramowania zadań
- w innym module sterowania używanym w konkretnym wdrożeniu w systemie końcowym.
Na poniższym rysunku przedstawiony został przykładowy pakiet przetwarzania realizujący proste przygotowanie pliku raportu na podstawie dwóch bazodanowych źródeł danych.
Na poniższym rysunku zaprezentowany został przykładowy przepływ zadań (Hierarchia zadań TH) o dwóch punktach startowych (uruchamianie na skutek pojawienia się gotowych dwóch grup plików wejściowych).
