Bloczki wejściowe

---

Bloczki wejściowe umożliwiają ładowanie i wykorzystywanie danych z plików o różnych formatach.

Bloczki zostały umieszczone po lewej stronie okna w menu Przybornik.

Zaliczane są do nich następujące rodzaje bloczków:

1. Odczyt z bazy
2. Wczytanie z pliku CSV
3. Plik stałopozycyjny
4. Prosty plik XML
5. Plik rekordów zapisanych binarnie
6. Generator danych losowych
7. Plik analizowany wyrażeniami regularnymi
8. Odczyt plików z dysku
9. Plik Excel
10. Plik KVF
11. Ovczyt z MongoDB

Odczyt z bazy

System umożliwia pobieranie danych z dowolnej, wskazanej i skonfigurowanej przez Użytkownika bazy, przy zastosowaniu bloczka Odczyt z bazy.

Pierwszym krokiem konfiguracji bloczka jest wybór źródła danych, z którego będą czerpane dane. Wybrane źródło należy ustawić dla bloczka w panelu Właściwości.

Bloczek, w zależności od podłączenia, może pracować w dwóch trybach:

1. jako źródło rekordów – należy podać zapytanie SQL, którego wyniki są zamieniane na rekordy i w dalszej kolejności przetwarzane,
2. jako bloczek odpowiadający na zapytania – w takiej sytuacji bloczek jest podłączony jako drugie wejście dla bloczka Loop Join. Bloczek Loop Join generuje zapytania, na podstawie których zwracane są wyniki.

W obu przypadkach, po zaznaczeniu bloczka Odczyt z bazy w zakładce Szczegóły dokonuje się określenia danych, które mają zostać uwzględnione podczas procesu przetwarzania, wykonywanego przez budowany pakiet. Wybór danych odbywa się za pomocą zapytań SQL.

W zapytaniach możesz odwoływać się do argumentów wywołania pakietu, które zostały przekazane przykładowo z formularza. Więcej patrz: Argumenty wywołania pakietu.

wskazówka

Jedyna różnica między wyżej wymienionymi trybami sprowadza się do tego, że jeśli bloczek jest odpytywany o dane, dodatkowo, w treści zapytania SQL można skorzystać z parametrów zapytania, zdefiniowanych w bloczku odpytującym (zazwyczaj jest to Loop Join).

W oknie edytora zapytania SQL działa funkcja podpowiadania składni i znaczenia. Podpowiadanie uruchamiane jest za pomocą Ctrl+Spacja. Więcej informacji patrz: Podpowiadanie składni.

Analiza składni uwidacznia się w treści podpowiedzi (tooltipów) wyświetlanych po najechaniu fragmentów tekstu kursorem myszy. W edytorze są też prezentowane błędy SQL (sprawdzane z posiadanym, pobranym schematem źródła danych SQL) oraz ostrzeżenia (np. o nieskorzystaniu z żadnego indeksu – prawdopodobnym problemie definicji struktur bazy SQL).

wskazówka

Więcej o funkcjach edytora można przeczytać w rozdziale: Edytor zadań SQL.

Bloczek wczytywania danych z bazy pracujący w trybie odpowiedzi na zapytania ma możliwość skonfigurowania parametru ograniczającego asynchroniczne zapytania wysłane do bazy (pole Limit asynchroniczności we właściwościach bloczka). Domyślna wartość 0 oznacza, że mechanizm jest wyłączony i każde zapytanie oczekuje na odpowiedź bez przekazywania sterowania dalej. Więcej na temat asynchroniczności można przeczytać w rozdziale Wątki przetwarzania i kolejki rekordów.

Plany zapytań

W przypadku zapytań do niektórych silników relacyjnych (np. MS SQL Server) bloczek będzie pobierał i logował plany i statystyki zapytań – zarówno plany estymowane jak i rzeczywiste (po pierwszym i setnym rekordzie, jeśli różnią się od poprzednich). W celu analizy planu należy jego XML skopiować do pliku o rozszerzeniu .sqlplan i otworzyć w SQL Management Studio. Funkcjonalność ta pozwala na bardzo szybką identyfikację przyczyny ewentualnego problemu wydajnościowego zapytania bez konieczności „polowania” na wadliwe plany przy pomocy administratora bazy danych.

Domyślnie plany będą się pobierać dla większości zapytań z wyłączeniem:

1. ręcznie wyłączonych z tej funkcjonalności opcją na bloczku,
2. dostarczających dane do słowników,
3. zawierających polecenia CREATE, SELECT i inne nietypowe. Zawsze istnieje możliwość konfiguracyjnego wymuszenia pobierania planów nawet w takich przypadkach.

Obliczanie postępu

Zapytania o dane strumieniowe (nie odpowiadające na zapytania) przed główną fazą przetwarzania są konwertowane do postaci pozwalającej na policzenie ilości rekordów wynikowych i uruchamiane. Wymaga to automatycznej konwersji znaczenia SQL i nie w każdym przypadku jest proste/możliwe.

Jeśli operacja się powiedzie, bloczek w trakcie działania będzie poprawnie raportował postęp odczytu danego strumienia SQL. Jeśli nie, w trakcie działania będzie stale raportował postęp 50%, a w logu będzie widniało ostrzeżenie – wyjątek po uruchomieniu niepoprawnego składniowo SQL.

Odczyt z MongoDB

System umożliwia pobieranie danych z bazy MongoDB

Konfiguracja źródła danych

Połączenie do MongoDB konfigurujemy tak samo jak połączenia do baz SQLowych.

1. Jako "typ środowiska" źródła danych należy wybrać "MongoDB", a następnie uzupełnić właściwości connection stringa.
2. Connection string jest w formacie URL. Wymagane minimum to Servers i DatabaseName. Schema pobrana z MongoDB składa się z kolekcji zawierających tylko kolumnę _id o nieokreślonym typie.

Odczytywanie danych

Do odczytu danych służy bloczek Odczyt z MongoDB. We właściwościach bloczka należy wybrać bazę danych typu MongoDB.

Następnie w szczegółach bloczka wybierz z listy lub podaj nazwę kolekcji, z której będą odczytywane dane oraz rodzaj zapytania. Dostępne są następujące rodzaje zapytań:

1. Find - Zapytanie zwraca dokumenty odczytane z bazy. Wykorzystuje dokument zapytania, dokument projekcji i dokument sortowania.
2. Distinct - Zapytanie zwraca listę unikalnych wartości wybranego pola. Wykorzystuje dokument zapytania i pole unikalne.

Po wybraniu typu zapytania należy uzupełnić (jeżeli puste wartości nie są odpowiednie) wykorzystywane przez nie dokumenty. Są to dokumenty JSON przekazywane do funkcji MongoDB. Typy dokumentów:

1. Dokument zapytania - Określa warunki, które muszą spełnić zwracane rekordy.
2. Dokument projekcji - Określa, które części znalezionych dokumentów mają zostać zwrócone.
3. Dokument sortowania - Określa kolejność w jakiej znalezione dokumenty zostaną zwrócone.
4. Pole unikalne - W tym dokumencie należy podać nazwę pola, z którego wartości zostaną zwrócone przez zapytanie typu Distinct. Można wpisać wprost nazwę pola lub podać dokument JSON – wtedy zwrócone zostaną wartości z pierwszego pola podanego dokumentu.

Wartości pól można ustawiać korzystając ze składni #()# do wstawiania parametrów. Parametry mogą być wstawione tylko jako wartości pól dokumentów.

Gdy bloczek Odczyt z MongoDB jest używany w trybie odpowiedzi na zapytania można jako wartości używać pól ze schematu Rekord zapytania przeciągając je na dokument.

Opcjonalnie można ustawić następujące parametry:

1. Size - Zamiast dokumentów zostanie zwrócona ich liczba. Będzie tylko jeden rekord wyjściowy zawierający pole size.
2. Skip - Ilość początkowych dokumentów do pominięcia.
3. Limit - Maksymalna ilość zwróconych dokumentów.

Po skonfigurowaniu parametrów zapytania można użyć przycisku Uruchom aby odczytać partię dokumentów. Na ich podstawie zmodyfikowany zostanie schemat wyjściowy.

Schemat wyjściowy należy dostosować (lub utworzyć od początku) do oczekiwanego przez nas formatu dokumentów. Mapowanie odczytanych dokumentów na rekordy odbywa się wg następujących zasad:

1. Korzeń dokumentu odpowiada korzeniowi schematu danych.
2. Pola dokumentów dopasowywane są po nazwach do pól i rekordów schematu – jeżeli pole dokumentu zawiera pojedynczą wartość to powinno mu odpowiadać pole w rekordzie, a jeśli poddokument to podrekord.
3. Tablice mapowane są na rekordy wielokrotne. Pojedyncze wartości mapowane są na pole o nazwie "item" a dokumenty na pojedynczy rekord o tej samej nazwie. Każdemu elementowi tablicy odpowiada jeden rekord o nazwie takiej jak pole w dokumencie zawierające tablicę. Rekord ten posiada pole o nazwie "item", podrekord o nazwie "item" lub to i to jednocześnie – w tym przypadku albo pole będzie wypełnione albo będzie istniał podrekord.
4. Jeżeli w schemacie wyjściowym brakuje odpowiadającego pola/rekordu to ten element dokumentu zostanie pominięty.
5. Jeżeli w dokumencie brakuje pola odpowiadającego wymaganemu polu/rekordowi schematu to zgłaszany jest błąd i rekord trafia na wyjście błędów.

Więcej patrz: Operacja zapytania do MongoDB.

Wczytywanie z KONDOR+

Opcja bloczka wejściowego Wczytanie z KONDOR+ umożliwia ładowanie danych z pliku o formacie KONDOR+, obsługiwanego przez agencje rządowe.

Wczytanie z pliku CSV

Opcja bloczka wejściowego Wczytanie z pliku CSV umożliwia ładowanie danych z pliku o formacie CSV, obsługiwanego przez większość arkuszy kalkulacyjnych i programów bazodanowych.

Bloczek umożliwia wczytywanie danych rozdzielanych przecinkami, średnikami, tabulatorami.

Na Szczegóły bloczka składają się dwie zakładki:

1. Podgląd - służy do ładowania pliku z dowolnego miejsca na dysku za pomocą przycisku Przeglądaj oznaczonego wielokropkiem (…) lub poprzez wpisanie dokładnej ścieżki do pliku w pole Plik. Część główną zakładki stanowi podgląd wskazanego dokumentu.

Opcja Pokazuj tylko linie ze znakami diakrytycznymi ogranicza podgląd danych pliku do linijek zawierających wyłącznie znaki polskie (w celu wyboru poprawnego kodowania wybierz kodowanie z listy rozwijalnej).

Po wczytaniu pliku możesz od razu wyznaczyć schemat danych na podstawie kolumn nagłówkowych z pliku csv.

2. Tabela - wyświetla dane z zaczytanego pliku jako tabelę.

ostrzeżenie

Aby dane zostały poprawnie wyświetlone w postaci tabeli, w pole ‘Separator’ należy wpisać znak rozdzielający poszczególne kolumny (domyślnie tabulator\t).

Przycisk Wyznacz strukturę danych na podstawie pozwala na oznaczenie wiersza jako nagłówka po wybraniu odpowiedniego rekordu danych. Będzie on pomijany podczas przetwarzania - wartości z jego kolumn posłużą do ustalenia nazw pól w rekordach wychodzących z bloczka. Pole Liczba początkowych wierszy do pominięcia informuje o ilości początkowych wierszy, które nie będą uwzględniane podczas przetwarzania.

Dodatkowe opcje, które można ustawić w panelu Właściwości bloczka:

1. Pusta wartość – System pozwala zdefiniować napis, który jeśli pojawi się w pliku, zostanie zamieniony na wartość pustą.
2. Błąd, gdy pusta linia - co należy wykonać jeżeli wystąpi pusta linia.
3. Za krótka linia/Za długa linia - Rodzaj akcji podejmowanej w sytuacji, gdy rekord danych jest niezgodny ze schemą. Przykładowo w wymaganym polu brakuje wartości.
4. Nagłówek w pliku - Sposób użycia nagłówka w pliku i czy wielkość liter jest ważna:

• Ignoruj – nie używa nagłówka z pliku.
• Użyj – używa nagłówka do rozpoznania kolejności kolumn w pliku.
• Sprawdź poprawność – działa jak opcja Użyj i dodatkowo sprawdza, czy wszystkie kolumny występują w nagłówku.

5. Usuwaj białe znaki z wartości - czy usuwać białe znaki na początku i końcu każdej wczytanej wartośći.
6. Obsługa cytowania - Sposób obsługi znkaów cytowania:

• jeśli ustawiona jest wartość AUTO, sposób cytowania jest określany automatycznie na podstawie wartości pola,
• jeśli ustawiona jest wartość NONE, znaki cudzysłowu są traktowane jako zwykła zawartość pola i nie są interpretowane jako znaczniki cytowania.

7. Znak cytowania - jeżeli obsługa cytowania jest ustawiona jako AUTO wówczas znak z tego pola zostanie użyty jako znak cytowania pola.

Przykładowo:

W przypadku pliku CSV, w którym wartości są rozdzielane przecinkami, a w pakiecie jako separator kolumn ustawiono znak ; może wystąpić problem podczas importu danych. Jeżeli średnik znajduje się również w wartości pola, zostanie błędnie zinterpretowany jako separator kolumn, co spowoduje przesunięcie danych do kolejnej kolumny.

Aby uniknąć takiej sytuacji, należy włączyć opcję Obsługa cytowania, która pozwala prawidłowo interpretować wartości zawierające znaki separatora.

Przykład wczytywania pliku patrz: Odczyt z pliku CSV i zapis do bazy.

Plik stałopozycyjny

Bloczek Plik stałopozycyjny umożliwia ładowanie danych z pliku stałopozycyjnego.

Plik stałopozycyjny, inaczej plik ze stałą strukturą rekordów, to plik, w którym każdy rekord ma ten sam, niezmienny format i długość. Oznacza to, że każda pozycja w rekordzie ma stałe przesunięcie w pliku, a dane są rozmieszczone w określonym, niezmiennym układzie.

1. Format pliku charakteryzuje dane, które zawsze mają to samo określone miejsce w strukturze i parametry (ilość znaków).
2. W pierwszej kolejności wczytaj przykładowy plik stałopozycyjny za pomocą przycisku Przeglądaj oznaczonego wielokropkiem (…) lub poprzez wpisanie dokładnej ścieżki do pliku.
3. Okno znajdujące się w środku aplikacji stanowi podgląd wskazanego dokumentu w postaci pierwotnej.
4. Za pomocą myszy komputerowej rozdziel tekst na obszary, które będą stanowić kolejne kolumny danych.
5. Po zaznaczeniu określonego obszaru, który ma stanowić pojedynczą kolumnę wybierz przycisk Dodaj. W dolnym oknie przedstawiającym listę zdefiniowanych kolumn, pojawi się nowy wiersz definiujący kolumnę danych. Istnieje możliwość zmiany nazwy oraz parametrów kolumn.
6. Przycisk Usuń z listy umożliwia usunięcie zaznaczonego zdefiniowania z listy.
7. Przycisk Usuń zaznaczone umożliwia usuniecie zaznaczonych elementów z listy.
8. Przycisk Rozpoznaj automatycznie umożliwia automatyczne wyznaczenie długości kolumn na podstawie nagłówka przykładowego pliku.
9. Przycisk Importuj pozwala na zaimportowanie zdefiniowanej wcześniej listy kolumn.
10. Przycisk Zapisz listę służy do zapisania zdefiniowanej listy w dowolnym miejscu na dysku.

Definiowanie kolumn możesz wykonać jak powyżej w szczegółach bloczka lub na panelu Właściwości w opcji Kolumny.

Poniżej przykład wczytanego pliku:

Wczytywanie nagłówka / stopki

Bloczek Plik stałopozycyjny pozwala na wczytywanie nagłówka/stopki.

1. Aby skorzystać z tej opcji, w panelu Lista zdefiniowanych kolumn wybierz odpowiednią zakładkę (Nagłówek lub Stopka) a następnie zdefiniuj kolumny, analogicznie, jak w przypadku danych.

Definiowanie nagłówka w pliku POS

Dodatkowo, w panelu Właściwości, dla bloczka można wyłączyć wczytywania nagłówka/stopki, a także ustalić jaką nazwę będzie miał rekord reprezentujący nagłówek/stopkę:

Prosty plik XML

Bloczek Prosty plik XML służy do wczytywania plików XML.

Bloczek umożliwia wczytywanie dowolnych wielokrotnych elementów znajdujących się w strukturze pliku.

1. Przykładowy plik zostaje zaczytany do Systemu za pomocą przycisku Dodaj przykładowy XML. Po wyznaczeniu dokładnej ścieżki do pliku wybierz przycisk Otwórz.
2. Po zaczytaniu pliku przedstawiany jest schemat całego pliku.
3. Wybór korzenia następuje po zaznaczeniu elementu schematu oraz naciśnięciu przycisku Wybierz korzeń.

4. Edytor dla bloczka jest w stanie na podstawie przykładowego pliku XML samodzielnie przygotować odpowiednią strukturę rekordów dla przetwarzania danych.
5. Zakładka Log zawiera informacje diagnostyczne z procesu wczytywania plików XML.

Plik rekordów zapisanych binarnie

Plik rekordów zapisanych binarnie - pozwala odczytać z pliku rekordy danych zapisanych w formacie binarnym.

1. Bloczek odczytuje dane o bardzo gęstym upakowaniu, jednak należy pamiętać, że dla dużych, produkcyjnych danych rozmiar może sięgać wielu GB.
2. Bloczek przydaje się do odczytu rekordów zapisanych (np. we wcześniejszej fazie) przez bloczek wyjściowy Plik rekordów zapisanych binarnie. Należy wówczas ustawić parametr Źródło parametrów bloczka.
3. Alternatywnie, do działania bloczek potrzebuje schematu danych, który można pobrać z pliku binarnego przygotowanego wcześniej np. innym pakietem.

Często występuje sytuacja, gdy potrzebujemy jedynie fragmentu schematu danych zapisanych binarnie, a sam odczyt wykonujemy np. kilkukrotnie, za każdym razem wykorzystując inny fragment. W celu optymalizacji takiego scenariusza można w edytorze bloczka wskazać te rekordy, które chcemy w danym momencie odczytywać. Pozostałe rekordy nie znikną ze schematu, ale zostaną pozbawione pól danych i uzupełnione o komentarz, że ich odczyt został zablokowany w bloczku.

ostrzeżenie

Jeśli nie wskażemy żadnego rekordu do odczytu (sytuacja domyślna), będą wczytywane zawsze kompletne dane z wszystkich rekordów.

Poniżej przykład wczytania pliku i podglądu danych:

Dane te zostały wcześniej pobrane z bazy danych i zapisane do pliku wyjściowego.

Generator danych losowych

Bloczek Generator danych losowych umożliwia generowanie określonej ilości losowych rekordów danych, zgodnie ze stworzonym/zaprojektowanym schematem danych.

We właściwościach bloczka można wskazać ile ma zostać wygenerowanych losowych rekordów.

W celu zmiany zakresu losowanych danych przejdź na zakładkę Zakres danych poszczególnych typów.

Operowanie na poszczególnych elementach danych zostało szczegółowo opisane w rozdziale poświęconym dostosowywania schematów rekordów oraz pól (patrz: Przetwarzanie danych).

Plik analizowany wyrażeniami regularnymi

Bloczek Plik analizowany wyrażeniami regularnymi pozwala na dzielenie danych wejściowych oraz ich odpowiednie dopasowywanie poprzez stosowanie właściwych wyrażeń regularnych w korzeniu rekordu.

1. Możesz wczytać przykładowy pliku za pomocą przycisku Przeglądaj oznaczonego wielokropkiem (…) lub poprzez wpisanie dokładnej ścieżki do pliku.
2. Opcja Pokazuj tylko linie ze znakami diakrytycznym i ogranicza podgląd danych pliku do linijek zawierających wyłącznie znaki polskie (w celu wyboru poprawnego kodowania z listy rozwijalnej).
3. Okno po lewej stronie pozwala na wstawianie odpowiednich adnotacji – wyrażeń regularnych, zgodnie z którymi dane będą rozdzielane i dopasowywane.
4. W panelu Szczegóły Użytkownik podaje wzorzec – wyrażenie, jakim będzie opisywany tekst. Dodatkowo wyświetlane są przykłady napisów zgodne z zapisanym wzorcem.
5. Opcja używana jest przede wszystkim do wyszukiwania pewnych fragmentów informacji np. w plikach diagnostycznych.

Odczyt plików z dysku

Bloczek Odczyt plików z dysku umożliwia wczytanie plików z dysku.

Wczytywanie następuje wraz z informacjami:

1. FileName - nazwa pliku wraz z rozszerzeniem,
2. FullName - pełna ścieżka do pliku na dysku,
3. DirectoryRelativePath – względna ścieżka do pliku (bez ścieżki głównej przekazanej jako parametr uruchomienia pakietu ),
4. DirectoryAbsolutePath - pełna ścieżka do pliku na dysku,
5. Extension - rozszerzenie pliku z kropką na początku np. .txt lub .png,
6. Size - rozmiar pliku w bajtach,
7. LastAccessTime - data ostatniego dostępu,
8. CreationTime - data utworzenia,
9. LastWriteTime - data ostatniej edycji,
10. Content – zawartość pliku zapisana w typie Binarnym w postaci tablicy bajtów,
11. MD5Hash - hasz obliczony funkcją MD5.

Po stworzeniu pakietu należy wskazać ścieżkę do plików w parametrach uruchomieniowych pakietu.

Opcje, które można ustawić w panelu Właściwości bloczka:

1. opcja wyszukiwania – pozwala zdefiniować, czy wyszukiwanie plików ma odbywać się tylko na poziomie katalogu („Katalog główny bez podkatalogów”), który został zdefiniowany w ścieżce parametru wywołania pakietu, czy też przeszukiwać podfoldery („Wszystkie podkatalogi”),
2. prosty wzorzec nazwy pliku – opcja wymagana (domyślnie *.* czyli wszystkie pliki) umożliwia wybranie plików według zdefiniowanego wzorca.

Dopuszczalne znaki specjalne: ? – dopasowuje dokładnie jeden lub zero znaków * – dopasowuje zero lub więcej znaków 3. wyrażenie regularne względnej ścieżki – umożliwia filtrowanie względnej ścieżki do pliku wyrażeniem regularnym. Filtrowaniu podlegają tylko te pliki, które zostały wybrane przez „Prosty wzorzec nazwy pliku”.

Wbudowane funkcje pomocnicze

Funkcje operujące na ścieżkach:

1. Łańcuch znaków PathCombine (Łańcuch znaków a, Łańcuch znaków b) – umożliwia łączenie dwóch ścieżek,
2. Łańcuch znaków PathCombine (Lista Łańcuchów znaków) – umożliwia łączenie dowolnej ilości ścieżek

Funkcje operujące na typie binarnym:

1. Binarny BinaryGetPart (Binarny binaryInstance, Liczba stałopozycyjna offset, Liczba stałopozycyjna length) – umożliwia wyciągnięcie części danych z instancji typu binarnego. W przypadku wczytania danych bezpośrednio z pliku zwracany jest tylko odpowiedni kawałek, bez wczytywania całego pliku do pamięci.
2. Binarny BinaryGetPart (Binarny binaryInstance, Liczba stałopozycyjna begin) – zwraca część danych od pozycji „begin” do końca instancji.
3. Binarny BinaryConcat (Binarny binaryInstance, Binarny binaryInstance) – łączy ze sobą instancje typu binarnego poprzez dodanie drugiej na końcu pierwszej (operator +).
4. Łańcuch znaków BinaryToString (Binarny binaryInstance, Łańcuch znaków encoding)- konwertuje instancje typu binarnego na łańcuch znaków, wykorzystując kodowanie * przekazane jako parametr funkcji.
5. Binarny BinaryFromString (Łańcuch znaków text, Łańcuch znaków encoding) - konwertuje łańcuch znaków na instancje typu binarnego wykorzystując kodowanie * przekazane jako parametr funkcji.
6. Operator dwuargumentowy == sprawdza czy instancje typu binarnego są równe. Zwraca wartość logiczną.
7. Operator dwuargumentowy != sprawdza czy instancje typu binarnego są różne. Zwraca wartość logiczną.

*Listę dostępnych kodowań można znaleźć na stronie http://msdn.microsoft.com/en-us/library/system.text.encoding.getencodings.aspx

Plik Excel

Bloczek Plik Excel umożliwia odczyt danych z plików tworzonego przez arkusz kalkulacyjny Microsoft Excel (*.xls, *xlsx).

Operacja ładowania danych polega na dzieleniu pliku na płaskie tabele danych reprezentowane przez bloczki tabel Excel, pozwalające na łatwe przetwarzanie danych.

1. W pierwszej kolejności należy wczytać przykładowy plik Excel za pomocą przycisku Przeglądaj oznaczonego wielokropkiem (…) lub poprzez wpisanie dokładnej ścieżki do pliku.

2. Górna część okna stanowi podgląd wprowadzonych danych. Jeśli wczytany plik posiada więcej niż jeden arkusz z danymi, Użytkownik ma możliwość przechodzenia między nimi poprzez wybór odpowiedniego z rozwijalnej listy - pole Arkusz.

3. Okno Lista tabel zawiera listę tabel pochodzących z danego pliku Excel – w zależności od zdefiniowanej ilości tabel utworzona zostanie n-liczba bloczków tabel Excel, pozwalających na późniejsze, łatwe przetwarzanie danych. Użytkownik ma możliwość przetworzenia struktury z pliku na strukturę drzewiastą.

4. Aby dodać nową tabelę do listy tabel wybierz przycisk Dodaj tabelę.

5. Przycisk Usuń pozwala na usunięcie zaznaczonej tabeli z listy.

6. W momencie dodania tabeli tworzy się dodatkowy bloczek (może być ich kilka, w zależności od ilości wybranych tabel) Odczyt Tabeli Excel, który to dopiero możemy połączyć z kolejnymi bloczkami.

7. Prawe dolne okno służy do definiowania schematu danych – struktury drzewa. Istnieje możliwość wstawiania kolumn w schemat w sposób automatyczny za pomocą funkcji Dodaj kolumny, wybierając odpowiedni sposób dodawania.
8. Zaznacz daną kolumnę we wczytanym pliku i wybierz opcję w oknie poniżej Dodaj kolumny>Użyj nazw do wyznaczenia kolumn.

9. Zakładka Pola wolnostojące zawiera dodatkowe, pojedyncze, nieprzynależące do żadnej tabeli z danymi pola, które są dostępne dla wszystkich bloczków w pakiecie po ich wyliczeniu.

Plik KVF

Bloczek wejściowy Plik KVF umożliwia ładowanie danych z pliku o formacie typu klucz - wartość.

1. Zakładka Szczegóły bloczka służy do konfiguracji struktury danych zaczytywanego pliku.
2. W pierwszej kolejności należy wczytać przykładowy plik KVF za pomocą przycisku Przeglądaj oznaczonego wielokropkiem (…) lub poprzez wpisanie dokładnej ścieżki do pliku.
3. Okno znajdujące się po prawej stronie zakładki stanowi podgląd wskazanego dokumentu.
4. Opcja Pokazuj tylko linie ze znakami diakrytycznymi ogranicza podgląd danych pliku do linijek zawierających wyłącznie znaki polskie.
5. Okno umieszczone po lewej stronie, służy do definiowania schematów rekordów oraz pól w strukturze drzewa. Operowanie na poszczególnych elementach drzewa zostało szczegółowo opisane w rozdziale poświęconym dostosowywania schematów rekordów oraz pól (patrz:Przetwarzanie danych ).

wskazówka

W celu ułatwienia tworzenia schematu danych możliwe jest wykorzystanie funkcji automatyzującej zadanie. W tym celu wpisz znacznik, będący separatorem rekordów danych w pole Separator rekordów, a następnie wybierz przycisk Wyznacz schemat danych na podstawie pliku. System automatycznie dostosowuje schemat rekordów do wczytanego wcześniej pliku źródłowego.

W poniższym przypadku separatorem rekordów jest nowa linia czyli \r\n

Bloczek pozwala także na zdefiniowanie nagłówka i stopki dla całego pliku.

1. W tym celu utwórz w schemacie w panelu po lewej stronie nowy rekord i oznacz go adnotacją Nagłówek lub Stopka.

Zobacz również

Bloczki transformacji

Bloczki wyjściowe

Narzędzia projektowe

Kategoria ogólna