Migration des référentiels de données sur les infrastructures de réseaux utilitaires
C
haque gestionnaire et exploitant de réseaux est un jour amené à devoir migrer ses données pour au moins une des raisons suivantes :
• Remplacer une plateforme logicielle devenue obsolète par une nouvelle plateforme logicielle.
• Centraliser et diffuser des données en vue de leurs consultations ou de leurs exploitations par les services de l’organisation et/ou par des acteurs externes à l’organisation.
• Mettre en commun des référentiels métiers séparés permettant l’exploitation intelligente des réseaux (Smart metering).
DEPTH SA a développé une panoplie d’outils, de bonnes pratiques techniques et organisationnelle issues de l’ingénierie logicielle. La migration des réferentiels étant un porcessus itératif et complexe qui évolue dans le temps, l’entreprise a mis en place un processus sous forme de chaîne de migration continue.
Le principe
Cette chaîne de migration est intégrée à notre solution SyncServ, spécialisée dans l’orchestration de processus de traitement de données complexes.
Elle se compose d’empilements de tâches et de scripts qui sont exécutés séquentiellement et/ou parallèlement et réalise les opérations et traitements suivants, entre les systèmes sources et cible :
- Extraction des objets sources
- Inventaire des objets sources
- Analyse la qualité des données sous différentes angles :
- Volumétrique
- Alphanumérique
- Intégrité référentielle
- Topologique
- Géométrique
- Transformation des objets sources vers le système cible
- Reconnaissance et extraction de structures de données utilisées pour
- La reconstruction de données source corrompues ou endommagées
- L’enrichissement des données par l’apport de données tiers.
- La construction de structure de données intermédiaire destinées à des contrôles, corrections, et des validations manuelles.
- Chargement des données dans le système cible.
- Comptabilisation des objets traités par la chaîne sous forme d’indicateurs de performances.
- Chargement des indicateurs de performances dans un tableau de bord de suivi de la migration et du reste à faire.
SyncServ centralise et orchestre les outils de traitement de données standards du marchés (FME, Python, SQL, Powershell, ESRI ArcGIS Geoprocessing Tools, TensorFlow, …)
SyncServ possède un dépôt centralisé qui stockent les paramètres liant les outils à SyncServ. Ces outils sont aussi organisés hiérarchiquement afin de pouvoir les récupérer et les exécuter au bon moment au sein de la chaîne de migration.
Le travail de l’ensemble des parties acteurs de la migration est organisé autour de cette chaîne, qui s’exécute chaque jour de la semaine sur une période de 24h.
Cette haute fréquence d’exécution procure une grande fluidité aux processus de migration, chaque action réalisée par les métiers sur les données sources sont visibles dès le lendemain dans le système cible.
Nos chaînes de migration continuent orchestrées par SyncServ s’inscrivent dans la pratique technique DevOps. Celle-ci permet d’unifier le travail de construction du processus de migration, aux travaux des experts métiers qui éditent, corrigent, et valident les données selon un rythme constant.
Nous installons SyncServ et réalisons ses chaînes de migration directement dans l’infrastructure interne du gestionnaire de réseau, ou de prestations de migration sous la forme de service (Migration as a Service) hébergé dans une solution de cloud (Microsoft Azure, AWS, …), sur notre propre infrastructure de serveurs dans notre salle blanche en Suisse à Collombey ou encore hybride entre des solutions de clouds et une infrastructure locale.
L’équipe de DEPTH SA développe ses compétences et ses outils depuis plus de 20 ans autour de la réalisation et de l’exploitation de ses chaînes et compte parmi ses clients des gestionnaires d’infrastructures actifs à l’échelle d’une ville, d’un canton et du pays.
Les outils
Nous utilisons une multitude d’outils dans le cadre de ces projets :
ArcGIS Desktop, ArcGIS Pro, ArcGIS Server, Portal for ArcGIS, Feature Manipulation Engine, Python, TensorFlow, SQL, Microsoft SQL Server, Oracle, PostGreSQL / PostGIS, IBM DB2, QGIS, ArcObjects .NET, Powershell
Les clients
De l’échelle d’une ville à l’échelle du pays, divers clients nous ont mandaté sans le cadre de leur projet de migration, voici quelques exemples :
- Les Services Industriels de la Ville de Lausanne dans le cadre du projet de migration de son système d’information du sol (SISOL) vers la plateforme logiciel LIDS éditée par la société Asseco BERIT AG.
- Les Services Industriels de la Ville de Genève pour leur programme de refonte des systèmes d’informations du territoire vers la plateforme logiciel ESRI.
- Sunrise UPC à Zürich dans le cadre d’un projet de construction d’un entrepôt de geodonnées stockés dans une geodatabase ArcGIS Server Enterprise afin de centraliser les données qui documentent les réseaux de fibres optiques répartis sur l’ensemble du territoire suisse.
