Środowisko pracy

---

Użytkownik tworzy pakiet przetwarzania lub hierarchię przepływu zadań za pomocą elementów graficznych (bloczków) przeciągając je z panelu Przybornik na obszar roboczy, a następnie łączy je ze sobą w miejscach portów wejściowych i wyjściowych – porty wejściowe zwyczajowo znajdują się na górze, natomiast porty wyjściowe na dole czynności.

Poniżej panel Przybornik i obszar roboczy hierarchii zadań.

W przypadku pakietów przetwarzania na karcie Przybornik dostępnych jest więcej bloczków, które zostały pogrupowane.

W zależności od rodzaju elementu, nad jakim pracuje Użytkownik, System udostępnia różne pozycje menu specyficznego dla różnego rodzaju plików: Pakietu oraz Hierarchii.

Podczas pracy z pakietem widoczne są pozycje menu specyficzne dla tego rodzaju pliku.

W trakcie zarządzania hierarchią dostępne są pozycje menu specyficzne dla tego rodzaju pliku.

Edytor hierarchii zadań

Edytor hierarchii zadań (pliki .xml) zawiera zakładki: Zadania, Raport i Zależności.

Umożliwia nie tylko edycję plików ale też ładowanie logów.

1. Zakładka Zależności przedstawia elementy (zadania) oraz połączenia między nimi (zależności). Kierunek strzałki oznacza kierunek przepływu sterowania zadań. Zwykle zadania poprzedzające umieszczane są wyżej, a zadania następne pod nimi.

Zadania umieszczane są w hierarchii poprzez przeciągnięcie ich z przybornika.

Wykonywanie równoległe

Bardzo często zadania w Systemie mogą być wykonywane równolegle – jeśli tylko nie występują między nimi zależności logiczne.

1. Na grafie zadań wygląda to jak rozwidlenie ścieżek (biegnących z góry na dół).
2. Faktyczna ilość równolegle wykonywanych zadań będzie zależała jednak od konfiguracji po stronie serwera wykonawczego, gdzie należy określić numerycznie maksymalną ilość wątków przetwarzania zadań.

Analiza logów

Zakładka, oprócz definicji zadań, może prezentować stan przetwarzania po wykonaniu (na podstawie logów / zrzutu SQL z tabeli TASKS) lub w trakcie wykonania (wykonując zapytanie na tabeli TASKS co kilka sekund).

Ładowanie logów jest dostępne w menu: Wczytaj logi/plik TASKS(dozwolone jest wybranie kilku plików, np. przy pomocy klawiszy Ctrl lub Shift).

1. Wczytanie logów polega na pobraniu wszystkich możliwych informacji na temat przebiegu przetwarzania zadań hierarchii i przedstawieniu ich w formie graficznej.
2. Dodatkowo, logi o rozmiarze poniżej 1MB są dostępne do przeglądania w panelu Log (należy wybrać wyjście o nazwie wczytanego pliku).
3. Podłączenie do bazy umożliwia wybór Podłącz do bazy danych (dostępne są aktualnie wybrane domyślne środowiska baz danych zdefiniowanych w panelu baz danych).

W trybie pokazywania logów można wykorzystać z elementu wyboru Pokazywane ID wsadu (cyklu) interesujący nas ID. Domyślnie zostanie ustawione największe ID znalezione w danych.

W tym trybie:

1. panel Właściwości przedstawia szczegóły nie tyle definicji zadania, ile samego wykonania (czasy start, stop, komunikat, status itp.) lub kilku wykonań (jeśli zadanie było powtarzane),
2. wokół ikon zadań pojawiają się kolorowe prostokąty. Zielony oznacza wykonane zadanie, czerwony błędnie zatrzymane, żółty – w trakcie przetwarzania, niebieski – jeden ze stanów „PENDING”. Pogrubiona krawędź oznacza wielokrotne powtórzenie zadania,
3. wybranie konkretnego zadania na grafie spowoduje próbę zlokalizowania informacji na jego temat we wczytanym pliku logów (panel Log). W przypadku plików o rozmiarze większym niż 1 MB w panelu tym zostanie dynamicznie wyświetlony jedynie fragment logu od miejsca rozpoczęcia zadania do miejsca jego zakończenia (w przypadku, gdy nie zostanie znaleziona informacja o zakończeniu zadania – np. zadanie nadal trwa, to wyświetlony zostanie fragment logu o wielkości 0,5MB).

wskazówka

Aby opuścić tryb pokazywania logów i powrócić do przeglądania definicji zadań, należy wybrać puste ID wsadu (cyklu) w górnym menu.

Zakładka Zależności prezentuje graf zależności pomiędzy obiektami SQL. System jest w stanie to wykonać, ponieważ jest wyposażony w dość kompletny parser poleceń SQL. Na grafie występują dwa rodzaje węzłów:

1. Obiekt SQL (tabela, widok, plik) – generalnie kontener z danymi,
2. Operacja - INSERT, UPDATE, pakiet przetwarzania, LOAD. Dwukrotne naciśnięcie przenosi do stosownego zadania definiującego operację (zakładka zależności zadań).

Graf tuż po analizie zależności jest ułożony zupełnie nieczytelnie. Aby go uczynić bardziej przejrzystym (spróbować splanaryzować) System posługuje się efektownym algorytmem symulacji sił.

Taka analiza graficzna wydaje się być niezastąpiona w przypadkach, gdy otrzymano do „przerobienia” duży zestaw niezrozumiałych poleceń SQL i należy z nich zbudować System (po uprzednim zrozumieniu zasad działania).

Edytor transformacji danych

Edytor transformacji danych to właściwy edytor pakietu przetwarzania (pliki .transform).

Zakładka Bloczki stanowi edytor graficzny pakietu.

1. Tworzenie pakietu odbywa się poprzez układanie odpowiednich przepływów operacji za pomocą właściwych bloczków. Opis poszczególnych bloczków patrz: Bloczki.
2. Bloczki pakietu muszą zostać ze sobą powiązane za pomocą łączników skierowanych. Wiązanie odbywa się poprzez łącznie portów wejściowych oraz wyjściowych dwóch bloczków. Operacja ta dokonywana jest za pomocą pojedynczego ruchu myszą. Bloczki można także połączyć, upuszczając jeden bloczek na drugi.
3. Dodawanie operacji (reprezentowanej przez bloczek) do pakietu możliwe jest również za pomocą menu kontekstowego łączników. Zaznacz łącznik i wybierz opcję Wstaw, a następnie wybierz bloczek, jaki chcesz wstawić. Bloczek reprezentujący daną opcję zostanie wklejony między operacje połączone danym łącznikiem.

Pasek narzędzi zakładki został wyposażony w szereg funkcji pozwalających na:

1. usuwanie zaznaczonych elementów,
2. cofanie zmian,
3. ponowne wprowadzanie zmian,
4. automatyczne rozmieszczanie elementów na płaszczyźnie,
5. ustawienie widocznej fazy przetwarzania,
6. zmiana widoków.

Dodatkowo, na bloczku Loop Join istnieje menu kontekstowe, które pozwala wybrać źródło zapytania.

Zakładka Szczegóły

Służy do ustalania parametrów operacji realizowanych przez poszczególne bloczki systemowe.

wskazówka

W zależności od rodzaju bloczka, którego dane szczegóły dotyczą wyświetlany jest różny widok okna zakładki.

Zakładka Raport

Po uruchomieniu pakietu, System sporządza raport z jego działania. Dlatego zakładka zostanie wyświetlona dopiero po wykonaniu akcji Uruchom pakiet.

Raport zawiera podsumowanie, liczniki i komunikaty walidacyjne, raport wydajności oraz szczegóły przetwarzania.

Szczegóły przetwarzania to dane o parametrach zakończonego procesu informujące o ilości rekordów przechodzących przez dany bloczek oraz ich czasach (tj. czasach trwania pakietu, wykonania poleceń itp.)

W tym przypadku zakładka Szczegóły przetwarzania prezentuje bardzo szczegółowe informacje podsumowujące:

1. czas trwania pakietu w rozbiciu na wątki i bloczki,
2. czasy wykonania poszczególnych klas poleceń SQL,
3. licznik bloczków liczących (klasyfikator, podgląd, kosz, profiler),
4. komunikaty o błędach i ostrzeżeniach .

Ważna jest weryfikacja ilości błędów linijki „Błędy przetwarzania”.

Zakładka Wydajność prezentuje na wykresach czasy trwania i tempa działania poszczególnych elementów pakietu, ułatwiając szybką identyfikację problemów wydajnościowych. Dane do wykresów mogą pochodzić (podobnie jak zawartość zakładki Raport) albo z ostatnio uruchomionego lokalnie pakietu, albo z analizy tekstowego logu wydajności załadowanego z pliku tekstowego, schowka lub podłączonego aktualnie (przez tabelę TASKS) zadania.

Wykresy prezentują najbardziej problematyczne elementy z każdej dziedziny:

1. udział bloczków w przetwarzaniu,
2. udział poszczególnych faz w przetwarzaniu,
3. udział spójnych komponentów w przetwarzaniu
4. średni czas przetwarzania rekordu.

Wykresy zawierające bloczki umożliwiają przeskok do odpowiednich elementów po kliknięciu myszą odpowiadających im obszarów wykresu.

Warto zauważyć, że niekoniecznie bloczek najwolniejszy będzie bloczkiem najdłużej trwającym – często będzie wiele gałęzi przetwarzających różne ilości rekordów.

Zakładka Dokumentacja

W oknie głównym (górnym) System na bieżąco generuje dokumentację aktualnie tworzonego pakietu przetwarzania i zawiera zestawienie bloczków wykorzystanych podczas tworzenia ścieżki transformacji. Dokumentacja informuje o nazwie oraz rodzaju bloczka, a także komentarzach do poszczególnych bloczków, wprowadzonych przez Użytkownika na panelu Szczegóły.

Drugie okno stanowi formatkę do wprowadzania uwag oraz komentarzy do całego pakietu. Edytowanie zawartości zakładki odbywa się przy pomocy edytora HTML, który umożliwia formatowanie tekstów oraz wstawianie obiektów.

wskazówka

Komentarz do pakietu nie jest widoczny w wygenerowanej dokumentacji pakietu.

Designer przepływów danych udostępnia również funkcję analizy logów z wykonania przetwarzania. Połączenia danych (synchroniczne oraz kolejki) są uzupełniane o liczniki przechodzących rekordów i średniego obciążenia kolejek, a raporty błędów o ilości zgłoszonych błędnych rekordów.

Nawigacja między bloczkami i panelem zakładek

1. W celu łatwego i szybkiego przełączania się pomiędzy bloczkami i panelem zakładek służy opcja w menu kontekstowym Przejdź do (Ctrl+T).

Następnie w celu przejścia do danego elementu zaznacz na liście bloczek i wybierz Enter a w celu przejścia na edytor bloczka wybierz Shift+Enter.

Edytor zadań SQL

Edytor zadań SQL (różnie - pliki .txt, .sql.txt, bez rozszerzeń) jest używany do zadań paczkowych, raportów, szybkiego wczytywania plików oraz szybkiego kopiowania danych.

1. Większość miejsc w systemie, wymagających pisania złożonych formuł (wyliczanie wartości, SQL, wyrażenia regularne) jest wyposażonych w funkcję inteligentnego podpowiadania składni, którą aktywujemy klawiszami Ctrl+Spacja (patrz: Podpowiadanie składni).
2. Po najechaniu myszą na fragment SQL (nazwę tabeli, kolumny, aliasu) edytor po chwili pokaże okno podpowiedzi (tooltip) z określeniem szczegółów obiektu bazodanowego (typ, komentarz).
3. W przypadku błędów i ostrzeżeń semantycznych (np. brak tabeli / kolumny w schemacie bazy, ostrzeżenie o braku indeksu w przypadku wyszukiwania danych) stosowny fragment zapytania zostanie pokolorowany na czerwono, a okno podpowiedzi będzie zawierało informacje dot. błędu.

Skróty klawiszowe:

1. Ctrl-Spacja – aktywacja podpowiadania składni,
2. Ctrl-A – zaznaczanie całego tekstu w edytorze,
3. Ctrl-Shift-A – zaznaczenie jednej sekcji (pojedynczego SQL-a).

Składnia języka skryptowego może być ogólnie opisana następująco:

#SEKCJA1
Fragment Skryptu
#SEKCJA2
1: fragment Skryptu
2: fragment Skryptu
#JakaśInnaSekcja
…

Różne zadania wykorzystują różne sekcje do własnych celów. Przykładowo, najprostszy skrypt „paczkowy” SQL może wyglądać tak:

#PREPARING_QUERIES
: drop table TMP_CURR_MIRROR_CLI

W tej postaci nie korzystamy z wielu dodatkowych możliwości skryptu, takich jak choćby tytułowe „paczkowanie” wykonania SQL – nie podaliśmy nazwy tabeli, klucza, ilości paczek itd…

Warto zauważyć, że fragmenty skryptu nie są numerowane.

Niektóre zadania definiują własne rozszerzenia składni SQL, takie jak np.:

1. Pobieranie wartości z zapytania SELECT i wpisywanie do parametru zadania, przez co może być użyta w kolejnych zadaniach.
2. Wstawianie wartości parametru zadania jako parametr SQL

np. #(ParametrN)# 3. Wstawianie wartości parametru zadania jako tekst (przez co może wystąpić np. jako fragment nazwy tabeli)

np. ##(ParametrN)#

Więcej informacji na ten temat znajduje się w rozdziałach przedstawiających szczegółowe opisy poszczególnych zadań - patrz: Szczegółowy opis zadań.

Edytor schematu danych

Edytor schematu danych – służy do podglądania i edycji samych schematów (pliki .schema) z opisami.

1. Umożliwia dowolną edycję samych schematów danych, które mogą być później użyte np. jako szablony wymagane, fragmenty struktur danych przy przetwarzaniu itp.
2. Główny edytor zawiera drzewo schematu, w którym można dodawać / usuwać pola i rekordy oraz wstawiać/kasować adnotacje. Można też wstawiać całe fragmenty innych schematów z plików (przycisk Wczytaj w menu Edycja) – z pliku zewnętrznego lub wzorca (zawartości katalogu szablonów).
3. Więcej szczegółów znajduje się w rozdziale dot. ogólnych możliwości edycji schematów - patrz: Schemat danych w Mapowaniach.

Okna pomocy kontekstowej (tooltipy)

Okna te wyświetlane są w kilku miejscach środowiska projektowego i umożliwiają szybkie przeglądanie najważniejszych właściwości prezentowanych elementów, fragmentów dokumentacji, opisów użytkownika, a nawet kompletnej pomocy kontekstowej.

Podpowiedzi dla zadań prezentują:

1. Krótką charakterystykę treści zadań – opis tekstowy na podstawie fragmentu sieci zależności: operację (np. SQL), obiekty wejściowe i wyjściowe.
2. Dla zadań wykonywanych /wykonanych: charakterystykę czasową (czasy, status).

Podpowiedzi dla bloczków przetwarzania w trybie wykonywania lub po załadowaniu logów prezentują:

1. Charakterystykę czasową (ilość wywołań, czas trwania, średnie tempo).

Najbardziej „gorące” (zużywające najwięcej zasobów) bloczki są także zaznaczane czarno-żółtym paskiem ostrzegawczym o wielkości proporcjonalnej do udziału w sumarycznym szeregowym czasie trwania przetwarzania.

2. Krótką statystykę wykrytych błędów.
3. Szczegóły pomiarów skojarzonych z bloczkiem – np. szczegóły czasów zapisu fragmentów rekordu do bazy danych, zewnętrznych wywołań modeli MD itp.

Wyszukiwanie w pakietach przetwarzania

Menu główne archITekt Studio Szukaj udostępnia funkcję wyszukiwania – opcja Szukaj w pakietach przetwarzania umożliwia przeszukanie otwartego dokumentu pod kątem wszystkich napisów w nim występujących (nazwy bloczków, dane tekstowe w bloczkach).

1. Wybierz z menu głównego opcję Szukaj>Szukaj w pakietach przetwarzania.
2. Po wybraniu akcji zostanie aktywowany dodatkowy panel Szukaj w pakietach przetwarzania, w którym możesz wpisać kryteria wyszukiwania: wyrażenie regularne, rozróżniaj wielkość liter, całe słowa.
3. Panel (lub częściej okno niedokowane) umożliwia przeszukiwanie aktywnego dokumentu. W trakcie wpisywania szukanej frazy w polu Znajdź zostaje automatycznie podpowiadany element z listy dostępnych napisów, co znacznie ułatwia poruszanie się w systemie.
4. Wszystkie elementy, które mogą zostać wyszukane zostały podzielone na kategorie. Aby móc wyszukiwać tylko w obrębie wybranych kategorii należy w panelu Kategorie kliknąć przycisk „+”. Spowoduje to rozwinięcie listy wszystkich możliwych kategorii, spośród których można wyszukiwać. Zaznaczając/odznaczając odpowiednie elementy we wspomnianej liście, decydujemy wśród których kategorii ma się odbywać wyszukiwanie.
5. Dodatkowo, dla niektórych kategorii (np. wyznaczenie wartości pola) można decydować jakiego typu ma być pole, którego dotyczy wyszukiwanie.

Dostępna jest także zaawansowana opcja wyszukiwania oparta na wyrażeniach regularnych (składnia Microsoft .NET). Patrz: Wyrażenia regularne.

Wyniki wyszukiwania są prezentowane w panelu pomocniczym. Wyniki wyszukiwania - zakładka zawiera wyniki ostatniego zapytania z wyszukiwania danych. Panel prezentuje wyniki wyszukiwania, pokazując miejsce wystąpienia poszukiwanej frazy wraz z kontekstem (odróżniając proste wystąpienia w tekście, schemacie danych, operacjach wyliczenia, formułach itd…) i otoczeniem tekstowym. Podwójne kliknięcie linii w panelu przenosi do wystąpienia elementu.

Panel Log

Panel Log - wyświetlany zazwyczaj w dolnej części ekranu, stanowi chronologiczny zapis, zawierający informację o zdarzeniach i działaniach dotyczących systemu.

1. Jeżeli panel nie jest widoczny wybierz z menu głównego Widok opcję Log aby włączyć panel lub wybierz ikonę z belki dolnej.

2. Możesz wybrać, którego komponentu informacje mają dotyczyć (a od którego komponentu mają pochodzić), poprzez jego wybór z rozwijalnej listy.
3. W celu usunięcia zapisów logów z listy zakładki wybierz przycisk Wyczyść.

Zobacz również

Opcje menu głównego

Tworzenie nowego pakietu/hierarchii/schematu

Przetwarzanie danych