Platform Design    ▶    Data Platform
Platform and Infrastructure Management
La plateforme « Data » construite autrement,
qui met à disposition les données distantes, centralisées et interactives
pour les usages data-centric,
qu'est la clé de réussite de la transition digitale

Data Platform de Nouvelle Génération





Description :
Point d'accès aux données distantes

Paramètres :
Element Type(s) Description
DATA:PROXY PROVIDER Point d'accès aux donnée distantes
Data Proxy Expression EXPRESSION Plugin de description de données distantes
REMOTE:DATA DATA:STORE Information sur les données distantes



Description :
Zone de stockage des données brutes

Paramètres :
Element Type(s) Description
RAW:FILE FILE:STORE Stockage des fichiers de données brutes
RAW:MSG MSG:CHANNEL Canal d'acheminement des flux de données brutes
REJECTED:MSG MSG:CHANNEL Canal de rejet des flux de données brutes
REJECTED:FILE FILE:STORE Stockage des fichiers de données brutes rejetés
REJECTED:DATA DATA:STORE Stockage des lignes de données rejetées lors de l'intégration



Description :
Zone de stockage des données intégrées et standardisées

Paramètres :
Element Type(s) Description
STD:FILE FILE:STORE Stockage des fichiers de données standardisées
STD:MSG MSG:CHANNEL Canal d'acheminement des flux de données standardisées
STD:DATA DATA:STORE Stockage des données intégrées et standardisées
CHANGE:MSG MSG:CHANNEL Canal de publication des événements standards de modification sur les données (idem que les CDC : Change Data Capture)



Description :
Zone de stockage des données traitées ou transformées

Paramètres :
Element Type(s) Description
PROC:FILE FILE:STORE Stockage des fichiers de données transformées (ex : export)
PROC:MSG MSG:CHANNEL Canal d'acheminement des flux de données transformées
PROC:DATA DATA:STORE Stockage des données transformées
FAILED:MSG MSG:CHANNEL Canal de publication des erreurs de transformation sur les flux de données
FAILED:FILE FILE:STORE Stockage des fichiers contenant des erreurs de transformation de données
FAILED:DATA DATA:STORE Stockage des erreurs de transformation de données



Description :
Zone de stockage des données interactives ou natives

Paramètres :
Element Type(s) Description
APP:FILE FILE:STORE Stockage des fichiers natifs (non centralisés et non distants)
APP:MSG MSG:CHANNEL Stockage des flux (messages) natifs (non centralisés et non distants)
APP:DATA DATA:STORE Stockage des données natives (non centralisées et non distantes)



Description :
Réception de fichier de données
Elements réutilisés : FILE:RECEIVE et FILE:LOAD

Paramètres :
Element Type(s) Description
Data File Reception EXPRESSION Description globale de la logique de réception de fichier de données brutes
Raw File Filter EVALUATION Plugin de filtrage de fichier à recevoir
Raw File Normalizer EVALUATION Plugin de standardisation de fichier de données brutes



Description :
Chargement de données depuis des fichiers de données brutes
Réconciliation temporelle et structurelle des données brutes avec les données déjà intégrées
Elements réutilisés : FILE:IMPORT, FILE:LOAD et ROW:LOAD

Paramètres :
Element Type(s) Description
Data File Loading EXPRESSION Description globale de la logique de chargement de fichier de données brutes
Standard File Filter EVALUATION Plugin de filtrage de fichier à charger
Raw Line Format EVALUATION Plugin du format de données brutes
on Row Packing/Change FLOW Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification)
Row Change Layout EVALUATION Plugin du format de message de notification de changement (ex : type CDC depuis le stockage)



Description :
Intégration de fichier de données combinant la reception et le chargement :
✓  Réception de fichier de données brutes (cf. RAW:FILE)
✓  Standardisation de l'enveloppe (FILE) comme une sorte de bordereau de réception (cf. STD:FILE)
✓  Chargement des lignes de données brutes en données standardisées (cf. STD:DATA) afin d'offir la capacité de réutilisation générique et spécifique



Description :
Réception en continue de flux de message brute, sous forme de service
Elements réutilisés : MSG:LISTENER, MSG:RECEIVE et MSG:LOAD

Paramètres :
Element Type(s) Description
Data Stream Reception EXPRESSION Description globale de la logique de réception de flux de données brutes
Raw Message Filter EVALUATION Plugin de filtrage de canal de réception de flux de données brutes
Raw Message Normalizer EVALUATION Plugin de standardisation de l'enveloppe de message



Description :
Chargement en continue de flux de message standardisé, sous forme de service
Elements réutilisés : MSG:LISTENER, MSG:RECEIVE, MSG:LOAD, MSG:OBJ et ROW:LOAD

Paramètres :
Element Type(s) Description
Data Stream Loading EXPRESSION Description globale de la logique de chargement de flux de données standardisées
Standard Message Filter EVALUATION Plugin de filtrage de canal de réception de flux de données standardisées
Standard Message Format EVALUATION Plugin d'interprétation du format standard de message
Standard Message To Row EVALUATION Plugin de conversion et de duplication de message standardisé en ligne de donnée standardisée
on Row Packing/Change FLOW Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification)
Row Change Layout EVALUATION Plugin du format de message de notification de changement (ex : type CDC depuis le stockage)



Description :
Intégration en continue de flux de données combinant la reception et le chargement
✓  Réception en continue de flux de message brute (cf. RAW:MSG)
✓  Standardisation de l'enveloppe de réception (cf. STD:MSG)
✓  avec une transition asynchrone, type SEDA (Staged Event-driven Architecture), qui protège la perte de flux en cas de saturation du chargement (optionel pour les flux moins intensifs)
✓  Chargement des lignes de données brutes en données standardisées (cf. STD:DATA) afin d'offir la capacité de réutilisation générique et spécifique

INTEGRATION SIMPLIFIEE



Description :
Sans la transition asynchrone
Attention : ce pattern n'est pas recommandé pour des flux intensifs qui risque de saturer la partie chargement



Description :
Traitement de données existantes par enrichissement ou transformation
Elements réutilisés : ROW:SELECT, ROW:PROCESS et ROW:LOAD

Paramètres :
Element Type(s) Description
Data Query EVALUATION Plugin de sélection de données à traiter
Data Conversion EVALUATION Plugin du format de données brutes
on Processed Row FLOW Plugin d'instruction de traitement spécifique pour chaque ligne de données
on Row Packing/Change FLOW Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification)
Row Change Layout EVALUATION Plugin du format de message de notification de changement (ex : type CDC depuis le stockage)
File Row Layout EVALUATION Plugin du format d'écriture de ligne de données en fichier



Description :
Traitement en continue de flux de données existantes par enrichissement ou transformation, sous forme de service
Elements réutilisés : MSG:LISTENER, MSG:RECEIVE, MSG:OBJ, ROW:SELECT, ROW:PROCESS et ROW:LOAD

Paramètres :
Element Type(s) Description
Processing Message Filter EVALUATION Plugin de filtre de flux de données à traiter
Processing Message Format EVALUATION Plugin d'interprétation de flux de données à traiter (standard, enrichi ou transformé)
Data Selection EVALUATION Plugin de sélection de données complémentaire à traiter avec les flux de données en cotinue
Attention : cette pratique est optionnelle, sous forme de cache, et non recommandée pour les flux intensifs
Data Processing EVALUATION Plugin du format de données brutes
on Processed Row FLOW Plugin d'instruction de traitement spécifique pour chaque ligne de données
on Row Packing/Change FLOW Plugin d'instruction de reconciliation de données et les actions associées aux changement (ex : notification)
Row Change Layout EVALUATION Plugin du format de message de notification de changement (ex : type CDC depuis le stockage)



Description :
Exposition de services d'accès aux fichiers de données : REJECTED:FILE, STD:FILE, PROC:FILE et APP:FILE

Paramètres :
Element Type(s) Description
FILE:STORAGE SERVICE
PROVIDER
(S)FTP		 Service (S)FTP d'exposition de fichier de données,
qui peut être vu en tant que PROVIDER
et qui peut supporter de composition
FILE:SERVICE SERVICE
PROVIDER
WEB
HTTP(S)		 Service WEB d'exposition de fichier de données,
qui peut être vu en tant que PROVIDER



Description :
Exposition de service de publication de message vers les flux d'intégration de données en continue : RAW:MSG et STD:MSG

Paramètres :
Element Type(s) Description
MSG:SERVICE SERVICE
PROVIDER
WEB
HTTP(S)		 Service WEB de publication de message d'intégration,
qui peut être vu en tant que PROVIDER



Description :
Exposition de service d'accès aux données disponibles : REJECTED:DATA, STD:DATA, PROC:DATA et APP:DATA

Paramètres :
Element Type(s) Description
DATA:SERVICE SERVICE
PROVIDER
WEB
HTTP(S)		 Service WEB d'exposition des données,
qui peut être vu en tant que PROVIDER
et qui peut supporter de composition



Description :
Publication de fichiers de données : REJECTED:FILE, STD:FILE, PROC:FILE et APP:FILE

Paramètres :
Element Type(s) Description
FILE:SELECT FLOW Publication de fichier de données,
✓  Sélection des fichiers à publier
✓  Traitement spécifique des fichiers publiés (ex : mise en forme, compression, chiffrement, ...)
File Filter EVALUATION Plugin de filtrage de fichier à publier
on Published File FLOW Plugin d'instruction spécifique à faire pour chaque fichier à publier (pré publication) ou publié (post publication)



Description :
Service de publication en continue depuis les flux de données : REJECTED:MSG, FAILED:FILE et CHANGE:MSG

Paramètres :
Element Type(s) Description
MSG:LISTENER SERVICE
STR		 Service de publication de flux de données,
✓  Sélection des flux de données à publier
✓  Traitement spécifique des messages publiés (ex : mise en forme, compression, chiffrement, ...)
Message Filter EVALUATION Plugin de filtrage de flux de données à publier
on Published Message FLOW Plugin d'instruction spécifique à faire pour chaque message à publier (pré publication) ou publié (post publication)



Description :
Publication de données disponibles : REJECTED:MSG, FAILED:FILE et CHANGE:MSG

Paramètres :
Element Type(s) Description
FILE:SELECT FLOW Publication de données,
✓  Sélection des données à publier
✓  Traitement spécifique des données publiées (ex : mise en forme, compression, chiffrement, ...)
Row Filter EVALUATION Plugin de filtrage de données à publier
on Published Row FLOW Plugin d'instruction spécifique à faire pour chaque ligne à publier (pré publication) ou publié (post publication)