Czym jest Przetwarzanie danych
Przetwarzanie danych umożliwia integrację z innymi systemami poprzez wymianę danych oraz masowe przetwarzanie zbiorów informacji.
Przetwarzanie danych składa się z 2 głównych funkcjonalności, przepływu rekordów (Transformacja danych) oraz przepływu, sterowania i zarządzania zadaniami (Hierarchia Zadań).
Projektant za pomocą graficznego designera tworzy i modyfikuje pakiety przetwarzające duże zbiory danych z wielu źródeł, a także buduje hierarchię zadań sterujących kolejnymi krokami procesu przetwarzania danych.
Przetwarzanie danych pozwala na:
- integrację z innymi systemami poprzez odbieranie i wysyłanie danych, zarówno przez różne formaty plików, jak i integrację z bazą danych,
- budowę w sposób graficzny pakietów przetwarzających dane, dzielenie złożonych pakietów na podpakiety,
- uruchamianie pakietów w środowisku graficznym, śledzenie na bieżąco kroków przetwarzania pakietu, w czasie których identyfikowane są na bieżąco „wąskie gardła” przetwarzania,
- zaawansowane projektowanie logiki pakietów zawierające m.in.:
- zmianę struktury przetwarzanych danych w ramach kolejnych kroków przetwarzania,
- łączenie danych pochodzących z różnych źródeł danych,
- operacje na hierarchicznych strukturach danych zawierających kolekcje podstruktur,
- obustronną integrację systemów w trakcie przetwarzania danych poprzez wywołanie webservice systemów zewnętrznych jako jednego z kroków przetwarzania pakietów lub publikację pakietów jako webservice dla ich wywołania przez systemy zewnętrzne,
- obsługę błędnych danych wraz z określeniem dopuszczalnych poziomów ilości błędów, które mogą wstrzymywać lub nie dalsze przetwarzanie,
- automatyczną obsługę błędów technicznych, np. automatyczne wznowienie przetwarzania w przypadku występowania krótkotrwałych zaników połączeń ze źródłami danych,
- manualne wznowienie dalszego ciągu przetwarzania w przypadku wystąpienia i usunięcia błędu technicznego, którego nie można obsłużyć w sposób automatyczny (np. brak miejsca na dysku),
- budowanie złożonych sieci przetwarzań, w ramach których poszczególne kroki przetwarzań mogą być uruchamiane równolegle lub rozpoczynane po wystąpieniu określonych zdarzeń,
- profilowanie przetwarzanych danych na dowolnym etapie przetwarzania oraz budowanie automatycznej statystyki ilości danych przepływających przez poszczególne kroki pakietu.