Hugo Roussaffa expert en géomatique à distance

Helper d'annotations QGIS

Wed, 01 Jan 2025 00:00:00 +0000

Description du projet

Le plugin Annotation AEP Helper a été développé dans le cadre de la préparation de la présentation GIS DAY 2025. Il vise à faciliter l’intégration des recollements (annotations géométriques) au standard GEOcalédonien pour les projets d’observation de la Terre et d’aménagement du territoire.

Objectifs

Automatiser la création de recollements géométriques conformes au standard GEOcalédonien
Réduire le temps de préparation des données d’observation de la Terre
Assurer la compatibilité des annotations avec les systèmes d’information géographique locaux
Favoriser la réutilisabilité des données d’annotations entre projets

Fonctionnalités

Importation de fichiers d’annotations existants
Conversion automatique aux formats de recollements GEOcalédonien
Validation géographique des recollements par rapport aux standards locaux
Export vers les formats courants (Shapefile, GeoJSON, GeoPackage)
Interface utilisateur intuitive dans l’interface QGIS

Technologies utilisées

QGIS : interface et traitement des géométries
Python : développement du plugin et logique de géoréférencement
Standard GEOcalédonien : format et contraintes spécifiques
AEP : activités d’observation de la Terre

Galerie d’images

Installation

# Via le dépôt GitHub
git clone https://github.com/yougis/annotation_AEP_helper

# Ou installation manuelle
# Instructions détaillées dans le README du dépôt

Liens utiles

Dépôt source : https://github.com/yougis/annotation_AEP_helper
Présentation GIS DAY 2025 : fichier disponible dans l’espace de travail partagé
Documentation technique : README inclus dans le dépôt

Présentations publiques de projets géomatiques

Thu, 23 Feb 2023 00:00:00 +0000

club géomatique

Cluster OPenNC

Support de présentation

Télécharger le support (PDF)

Géotraitements et analyses spatiales environnementales en masse

Mon, 13 Feb 2023 02:49:37 +0000

Que signifie Bilbo ?

Bilbo est l’accronyme de Buisness Intelligence for Land and Biodiversity Observation. C’est un projet de recherche et développement qui vise à développer des indicateurs pour l’observation de la terre.

Objectif du projet

L’observatoire de l’environnement a pour objectif de traduire l’état, les pressions, les réponses qui s’exercent sur l’environnement en Nouvelle Calédonie. Pour répondre à ces objectifs, nous collectons et analysons des données de suivi des milieux produites localement par les Collectivités, les miniers, Instituts de recherche, associations, entreprises, ainsi que des données produites mondialement comme celles obtenues par satellites d’observation de la terre:

l’occupation des sols et l’erosion,
les incendies,
les indicateurs de sécheresse végétale,
l’indicateur de pollution lumineuse
…

La quantité d’information disponible à analyser est massive et toujours en augmentation, on parle ainsi de Big data. Pour optimiser notre productivité dans nos suivis, nous cherchons à automatiser les traitements et la publication des informations sous un format décionnel.

Problématiques principales

GeoTraitements lourds et longs

Relations spatiales

Dans un projet Bi classic (non spatial), la valeur ajouté créée provient de croissement entre les données d’un modèle structuré par des relations entre les informations : des clés de référence. Dans notre cas la relation entre les informations et AUSSI spatiale, et cette spécificité implique des calculs plus lourd que des relations par clé.

Du SIG vers un SID

L’approche que nous avons suivi jusqu’à aujourd’hui consiste à transposer le modèle d’un Système d’information Géographique en Système d’Information Décisionnelle, impliquant donc de définir quelles sont les faits et quelles sont les dimensions qui nous permettrons de répondre à la toutes de nos questions.

Les faits

Nos premiers résultats on aboutit à la production de données constituées des résultats d’intersection géographiques entre des pressions envirommentales (les surfaces brulées par exemple), des informations de contexte (les modes d’occupation du sol) et des informations de perimètres administratifs (les limites communales). Le résultat de ces découpages constitu notre DataWareHouse, qui permet de fournir des résultats aggregés selon nos dimensions temporelles, thematiques et surtout spatiales.

Ce modèle n’est pas pleinement satisfaisant car il multiplie les croisements réaliser pour chacunes des thématiques analysés. Les bases de données sont alourdies par une redondance d’information du fait notament de la nature des données inclusives selon les échelles étudiés (une région englobe +/- plusieurs communes). D’autre par l’heterogénéités de la précisions des données que nous croisons amène à produire parfois un pailletage des objets produisant des invalidités géometriques ou des incohérences sémantiques.

Les DaTaMart (DTM)

Ce sont les tables issu d´aggregation des fais selon les dimensions choisies. Ces tables sont ensuite utilisées pour produire des rapports, des cartes, des analyses statistiques. Ces tables sont produites par des scripts SQL, et sont stockées dans une base de données relationnelle. Les scripts SQL sont redondants et donc l’usage du framework DBT apporte une amelioration en terme de maintenabilité et de lisibilité des scripts.

Vers une approche plus performante

Les effets de bord de notre approche actuelle m’ont amené à réfléchir à une approche plus performante, plus robuste et plus flexible. L’utilisation d’un index spatial léger et qui optimise les calculs de relations spatiales. L´article suivant présente cette approche :

Indexer toute l’information environnementale sur une grille vectorielle H3

Dashboard ESRI / Pollution lumineuse

Sun, 01 Jan 2023 00:00:00 +0000

Description du projet

Ce projet vise à développer un tableau de bord interactif sur la plateforme ESRI pour visualiser et analyser les zones d’intérêt environnemental sous pression (gestion de l’eau, érosion, pollution lumineuse, etc.). Ces tableaux de bord intègrent de nombreuses données spatiales détaillées issues de multiples sources de données.

Compétences exploitées et livrables

ArcGIS Online
ArcGIS
Data Visualisation
Data Management

Galerie d’images

Atlas QGIS / Incendies

Sat, 01 Jan 2022 00:00:00 +0000

Description du projet

Réalisation d’un atlas cartographique complexe avec QGIS, retraçant l’historique des incendies dans chaque commune de Nouvelle-Calédonie sur les 20 dernières années. L’atlas combine des données d’occupation du sol, des périmètres administratifs et des historiques de feux pour produire une série de planches cartographiques homogènes et reproductibles.

La chaîne de production repose sur le générateur d’atlas de QGIS : un modèle de composition unique, paramétré par commune, permet de générer automatiquement l’ensemble des planches. Chaque planche intègre les cartes, les statistiques communales et les éléments de légende nécessaires à la lecture des dynamiques d’incendie.

Compétences exploitées et livrables

QGIS
Data Visualisation
Data Management

Galerie d’images

Dashboard ESRI / Gestion de l'eau

Sat, 01 Jan 2022 00:00:00 +0000

📝 Projet de suivi de la ressource en eau potable en Nouvelle-Calédonie

Contexte : Dans le cadre de mes fonctions au sein d’une association environnementale, j’ai assuré la responsabilité du pôle système d’information et projets géomatique. Une mission simple m’a été confié pour concevoir un tableau de bord territorial de suivi de la ressource en eau potable à l’échelle de la Nouvelle-Calédonie, à destination d’une institution publique (DAVAR).

Objectifs :

Identifier, formaliser et produire une dizaine d’indicateurs géographiques pertinents pour le suivi de la ressource.
Construire une solution technique pérenne et reproductible, évolutive à long terme.
Automatiser le traitement et l’agrégation des données géographiques vectorielles (fournies par le commanditaire).

Rôle et actions :

Conception et développement d’un framework de traitements géospatiaux scriptés (Python/GDAL, YAML), avec des étapes de croisement géométrique, filtrage, agrégation, etc.
Structuration des données selon une logique bronze / argent / or (modèle de Data Lakehouse adapté aux données géographiques).
Mise en place d’un catalogue de données et de modèles standardisés pour faciliter l’analyse multi-échelles.
Refus explicite des traitements manuels (type QGIS), au profit d’un système industrialisé, reproductible et documenté.
Dialogue constant avec les partenaires publics pour affiner les indicateurs et anticiper les usages futurs, applicant ainsi une approche agile.

Résultats et impacts :

Livraison réussie de la première version du tableau de bord et des indicateurs.
Adoption du framework comme socle technique pour l’ensemble des projets environnementaux future de l’observatoire.
Gain de temps significatif dans les projets ultérieurs et meilleure fiabilité des traitements.
Structuration d’une culture de traitement automatisé et maintenable au sein de l’équipe.

Enseignements :

L’importance d’imposer une vision technique claire et robuste, même lorsqu’elle diverge des pratiques en place.
La pédagogie et la formation est un facteur clé pour faire adhérer les équipes à des outils techniques plus avancés.
Un choix méthodologique assumé peut générer un effet levier durable à l’échelle d’une organisation.

Compétences exploitées

Data Visualisation

Data Management

Python Development

Data Automation

Data Lakehouse

Data Processing

Data Analysis

Data Engineering

Technologies utilisées

Python

GDAL

YAML

DBT

ArcGIS Online

ArcGIS

Bibliothèques Python

Pandas
Bibliothèque pour la manipulation et l'analyse de données.
rasterio
Lecture et écriture de données raster géospatiales.
geopandas
Extension de Pandas pour travailler avec des données géospatiales.
intake
Découverte, gestion et accès aux données.
Dask
Traitement parallèle de données à grande échelle.

Indexer toute l'information environnementale sur une grille vectorielle H3

Sat, 01 Jan 2022 00:00:00 +0000

Description du projet

Créer un système d’information décisionnel basé sur des données géographiques et environnementales, comme les incendies, l’occupation des sols, les limites administratives et des indicateurs de sécheresse et de pollution lumineuse etc. Les données sont indexées sur une grille H3 pour une analyse spatiale fine. Les traitements sont réalisés à l’aide d’algorithmes Python et les datamarts sont générés à l’aide de DBT, un générateur SQL basé sur les templates Jinja.

Notre projet se distingue des projets de business intelligence standard par sa capacité à intégrer des données géographiques et environnementales, à effectuer une analyse spatiale fine grâce à l’indexation H3 et à être flexible pour répondre aux besoins spécifiques.

H3 est un système d’indexation spatiale hexagonale développé par Uber, qui permet de diviser la surface de la Terre en une grille de hexagones de tailles variables. Il est particulièrement utile pour l’analyse spatiale fine des données, car il permet de stocker les données à différents niveaux de granularité.

Les avantages d’utiliser H3 par rapport à un système d’information géographique standard sont nombreux:

Il permet d’adapter la finesse de l’analyse spatiale des données, car il permet de stocker les données à différents niveaux de granularité spatiale.
Il est également plus efficace en termes de stockage de données, car il permet de stocker des données de différentes tailles dans une seule grille.
Il est facilement utilisable avec des outils de visualisation tels que des tableaux de bord géographiques, permettant une meilleure compréhension des données pour les utilisateurs.

En utilisant H3, nous pouvons mieux comprendre les risques liés aux incendies, la sécheresse et la pollution lumineuse. L’indexation H3 permet une analyse spatiale fine des données, cela signifie que nous pouvons identifier les zones les plus touchées par la sécheresse ou la pollution lumineuse avec une précision accrue.

DBT est un outil clé pour notre projet car il nous permet de générer des datamarts à partir de nos données. Il utilise des templates Jinja pour générer des requêtes SQL qui peuvent être utilisées pour créer des tableaux de bord géographiques et des rapports automatisés. Cela permet une meilleure compréhension des données pour les utilisateurs et une prise de décision plus efficace.

En résumé, notre projet est basé sur l’utilisation de données géographiques et environnementales, l’analyse spatiale fine grâce à l’indexation H3 et la flexibilité pour répondre aux besoins spécifiques en utilisant DBT pour générer des datamarts et des tableaux de bord géographiques et des rapports automatisés.

Compétences exploitées et livrables

Python
Data Visualisation
Data Management

Suivi de la sécheresse végétale par télédétection

Sat, 01 Jan 2022 00:00:00 +0000

Le projet proposé ici s’inscrit dans la continuité du travail mené dans le cadre du projet Space Climate Observatory, nommé EO4DroughtMonitoring1 sur la Nouvelle-Calédonie avec comme objectif principal de démontrer l’applicabilité et l’utilité d’un tel outil dans d’autres territoires insulaires du Pacifique. La démarche globale est ainsi de disposer d’un procédé adapté pour l’ensemble des territoires insulaires du Pacifique et qui pourrait par la suite être délivré en libre accès de façon opérationnelle en lien avec les acteurs centraux de la région.

Nous avons réalisé dans le cadre de ce projet :

la construction d’un indicateur de sécheresse végétale permettant de caractériser la situation actuelle mais aussi historique et prévisionnelle, en fonction des données disponibles, obtenues sur les différents plateformes satellitaires et des instruments météorologiques du territoires concernés,
la mise en en production l’indicateur sur la Nouvelle-Calédonie, l’objectif étant de démontrer le caractère opérationnel de la solution, décliner la chaine de production pour certains territoires de la région Pacifique,
valoriser à travers des interfaces et des services de consultation et de mise à disposition des données.

Consulter le rapport interactif complet en cliquant sur ce lien

Dashboard ESRI / Incendies

Fri, 01 Jan 2021 00:00:00 +0000

Description du projet

Ce projet vise à développer un tableau de bord interactif sur la plateforme ESRI pour visualiser et analyser les zones d’intérêt environnemental sous pression (incendies, érosion, pollution lumineuse, etc.). Ces tableaux de bord intègrent de nombreuses données spatiales détaillées issues de multiples sources de données.

Compétences exploitées et livrables

ArcGIS Online
ArcGIS
Data Visualisation
Data Management

Galerie d’images

Atlas du Vélib

Fri, 01 Jan 2010 00:00:00 +0000

Projet mené à quatre mains avec Jules Grandin.

Analyse spatiale, simulation de parcours, Classification acendantes Hierarchiques, statistiques multivariées, réalisation de la maquette, des cartes et des textes.

Galerie d’images

Compétences exploitées

Adobe illustrator
QGIS
Data Visualisation
Data Management
Analyse de données
Statistiques multivariées
Classification ascendante hiérarchique
Cartographie
Maquette
Rédaction de textes

Mon, 01 Jan 0001 00:00:00 +0000