do IT differently ( 0.8.0 ) |
« Innovation is this amazing intersection between someone’s imagination and the reality in which they live » (Ron Johnson) |
Element | Type(s) | Description |
DATA:PROXY | PROVIDER | Point d'accès aux donnée distantes |
Data Proxy Expression | EXPRESSION | Plugin de description de données distantes |
REMOTE:DATA | DATA:STORE | Information sur les données distantes |
Element | Type(s) | Description |
RAW:FILE | FILE:STORE | Stockage des fichiers de données brutes |
RAW:MSG | MSG:CHANNEL | Canal d'acheminement des flux de données brutes |
REJECTED:MSG | MSG:CHANNEL | Canal de rejet des flux de données brutes |
REJECTED:FILE | FILE:STORE | Stockage des fichiers de données brutes rejetés |
REJECTED:DATA | DATA:STORE | Stockage des lignes de données rejetées lors de l'intégration |
Element | Type(s) | Description |
STD:FILE | FILE:STORE | Stockage des fichiers de données standardisées |
STD:MSG | MSG:CHANNEL | Canal d'acheminement des flux de données standardisées |
STD:DATA | DATA:STORE | Stockage des données intégrées et standardisées |
CHANGE:MSG | MSG:CHANNEL | Canal de publication des événements standards de modification sur les données (idem que les CDC : Change Data Capture) |
Element | Type(s) | Description |
PROC:FILE | FILE:STORE | Stockage des fichiers de données transformées (ex : export) |
PROC:MSG | MSG:CHANNEL | Canal d'acheminement des flux de données transformées |
PROC:DATA | DATA:STORE | Stockage des données transformées |
FAILED:MSG | MSG:CHANNEL | Canal de publication des erreurs de transformation sur les flux de données |
FAILED:FILE | FILE:STORE | Stockage des fichiers contenant des erreurs de transformation de données |
FAILED:DATA | DATA:STORE | Stockage des erreurs de transformation de données |
Element | Type(s) | Description |
APP:FILE | FILE:STORE | Stockage des fichiers natifs (non centralisés et non distants) |
APP:MSG | MSG:CHANNEL | Stockage des flux (messages) natifs (non centralisés et non distants) |
APP:DATA | DATA:STORE | Stockage des données natives (non centralisées et non distantes) |
Element | Type(s) | Description |
Data File Reception | EXPRESSION | Description globale de la logique de réception de fichier de données brutes |
Raw File Filter | EVALUATION | Plugin de filtrage de fichier à recevoir |
Raw File Normalizer | EVALUATION | Plugin de standardisation de fichier de données brutes |
Element | Type(s) | Description |
Data File Loading | EXPRESSION | Description globale de la logique de chargement de fichier de données brutes |
Standard File Filter | EVALUATION | Plugin de filtrage de fichier à charger |
Raw Line Format | EVALUATION | Plugin du format de données brutes |
on Row Packing/Change | FLOW | Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification) |
Row Change Layout | EVALUATION | Plugin du format de message de notification de changement (ex : type CDC depuis le stockage) |
Element | Type(s) | Description |
Data Stream Reception | EXPRESSION | Description globale de la logique de réception de flux de données brutes |
Raw Message Filter | EVALUATION | Plugin de filtrage de canal de réception de flux de données brutes |
Raw Message Normalizer | EVALUATION | Plugin de standardisation de l'enveloppe de message |
Element | Type(s) | Description |
Data Stream Loading | EXPRESSION | Description globale de la logique de chargement de flux de données standardisées |
Standard Message Filter | EVALUATION | Plugin de filtrage de canal de réception de flux de données standardisées |
Standard Message Format | EVALUATION | Plugin d'interprétation du format standard de message |
Standard Message To Row | EVALUATION | Plugin de conversion et de duplication de message standardisé en ligne de donnée standardisée |
on Row Packing/Change | FLOW | Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification) |
Row Change Layout | EVALUATION | Plugin du format de message de notification de changement (ex : type CDC depuis le stockage) |
Element | Type(s) | Description |
Data Query | EVALUATION | Plugin de sélection de données à traiter |
Data Conversion | EVALUATION | Plugin du format de données brutes |
on Processed Row | FLOW | Plugin d'instruction de traitement spécifique pour chaque ligne de données |
on Row Packing/Change | FLOW | Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification) |
Row Change Layout | EVALUATION | Plugin du format de message de notification de changement (ex : type CDC depuis le stockage) |
File Row Layout | EVALUATION | Plugin du format d'écriture de ligne de données en fichier |
Element | Type(s) | Description |
Processing Message Filter | EVALUATION | Plugin de filtre de flux de données à traiter |
Processing Message Format | EVALUATION | Plugin d'interprétation de flux de données à traiter (standard, enrichi ou transformé) |
Data Selection | EVALUATION | Plugin de sélection de données complémentaire à traiter avec les flux de données en cotinue
Attention : cette pratique est optionnelle, sous forme de cache, et non recommandée pour les flux intensifs |
Data Processing | EVALUATION | Plugin du format de données brutes |
on Processed Row | FLOW | Plugin d'instruction de traitement spécifique pour chaque ligne de données |
on Row Packing/Change | FLOW | Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification) |
Row Change Layout | EVALUATION | Plugin du format de message de notification de changement (ex : type CDC depuis le stockage) |
Element | Type(s) | Description |
FILE:STORAGE | SERVICE PROVIDER (S)FTP |
Service (S)FTP d'exposition de fichier de données,
qui peut être vu en tant que PROVIDER et qui peut supporter de composition |
FILE:SERVICE | SERVICE PROVIDER WEB HTTP(S) |
Service WEB d'exposition de fichier de données,
qui peut être vu en tant que PROVIDER |
Element | Type(s) | Description |
MSG:SERVICE | SERVICE PROVIDER WEB HTTP(S) |
Service WEB de publication de message d'intégration,
qui peut être vu en tant que PROVIDER |
Element | Type(s) | Description |
DATA:SERVICE | SERVICE PROVIDER WEB HTTP(S) |
Service WEB d'exposition des données,
qui peut être vu en tant que PROVIDER et qui peut supporter de composition |
Element | Type(s) | Description |
FILE:SELECT | FLOW | Publication de fichier de données,
|
File Filter | EVALUATION | Plugin de filtrage de fichier à publier |
on Published File | FLOW | Plugin d'instruction spécifique à faire pour chaque fichier à publier (pré publication) ou publié (post publication) |
Element | Type(s) | Description |
MSG:LISTENER | SERVICE STR |
Service de publication de flux de données,
|
Message Filter | EVALUATION | Plugin de filtrage de flux de données à publier |
on Published Message | FLOW | Plugin d'instruction spécifique à faire pour chaque message à publier (pré publication) ou publié (post publication) |
Element | Type(s) | Description |
FILE:SELECT | FLOW | Publication de données,
|
Row Filter | EVALUATION | Plugin de filtrage de données à publier |
on Published Row | FLOW | Plugin d'instruction spécifique à faire pour chaque ligne à publier (pré publication) ou publié (post publication) |