7 Aug
2023
7 Aug
'23
11:31 a.m.
Message posté par : jeremy SERIEYE
----------------------------------------
Bonjour à tous,
Je cherche à importer un flux WFS en BDD postgres.
J'arrive à ce que je souhaite la BD Topo cependant impossible avec le WFS du GPU
(https://wxs-gpu.mongeoportail.ign.fr/externe/39wtxmgtn23okfbbs1al2lz3/wfs).
-----------------
Code :
DROP SERVER IF EXISTS fdw_ogr_ign_gpu CASCADE;
CREATE SERVER fdw_ogr_ign_gpu FOREIGN DATA WRAPPER ogr_fdw
OPTIONS (
datasource
'WFS:https://wxs-gpu.mongeoportail.ign.fr/externe/39wtxmgtn23okfbbs1al2lz3/wfs?service=WFS&request=GetCapabilities',
format 'WFS',
config_options 'GDAL_HTTP_UNSAFESSL=YES'
);
CREATE SCHEMA IF NOT EXISTS ign_gpu;
IMPORT FOREIGN SCHEMA ogr_all
FROM SERVER fdw_ogr_ign_gpu
INTO ign_gpu
OPTIONS (
-- mettre le nom des tables en minuscule et sans caractères bizares
launder_table_names 'true',
-- mettre le nom des champs en minuscule
launder_column_names 'true'
)
;
SELECT foreign_table_schema, foreign_table_name
FROM information_schema.foreign_tables
WHERE foreign_table_schema = 'ign_gpu'
ORDER BY foreign_table_schema, foreign_table_name;
SELECT *
FROM ign_gpu.wfs_du_doc_urba
LIMIT 1;
-----------------
Lors du dernier SELECT ci-dessus j'ai le code erreur suivant :
ERROR: GDAL AppDefined [1] HTTP error code : 403
ERREUR: GDAL AppDefined [1] HTTP error code : 403
État SQL : XX000
Si certains connaissent la solution, je suis preneur !
Merci par avance.
Jérémy
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=361981#p361981
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
25 Aug
25 Aug
11:11 a.m.
Message posté par : Nicolas Ribot
----------------------------------------
Bonjour,
Effectivement, j'ai aussi des erreurs 403 (FORBIDDEN) sur la couche act_sup par ex,
alors qu'elle marchait il y a quelques temps avec OGR.
Peut etre que les droits ont changé ou que le token n'est plus à jour ?
Nicolas
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=362252#p362252
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
25 Sep
25 Sep
4:59 p.m.
Message posté par : Christophe Vergon (christophe.vergon(a)protonmail.com)
----------------------------------------
Bonjour,
Merci à tous les deux de m'avoir fait découvrir que l'on peut importer un flux WFS
dans postgres !!!
MERCI beaucoup ! (ça m'est jamais venu à l'idée ...)
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=362767#p362767
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
26 Sep
26 Sep
8:43 a.m.
Message posté par : Christophe Vergon (christophe.vergon(a)protonmail.com)
----------------------------------------
Merci n314
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=362777#p362777
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
1 Jul
1 Jul
3:54 p.m.
Message posté par : melanie.p
----------------------------------------
Bonjour à tous,
Avez vous pu trouver une solution à ce problème ? J'ai exactement le même souci.
J'interroge dans PGSQL certaines couches WFS de la geoplateforme sans souci mais
impossible d'interroger la couche 'wfs_du:zone_urba', j'ai le message
ERREUR: GDAL AppDefined [1] HTTP error code : 400
État SQL : XX000
Merci pour votre retour.
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=368323#p368323
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
12 Dec
12 Dec
5:36 p.m.
Message posté par : Sandy Allibert
----------------------------------------
Bonjour,
Merci pour la solution, j'avais exactement le même soucis. Vous savez expliquer
pourquoi il y a une erreur 400 sans le sortBy ?
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=370771#p370771
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
30 Mar
30 Mar
10:44 a.m.
Message posté par : Christophe BADOL
----------------------------------------
Merci pour toutes des informations
J'ai compilé tout çà dans un script à moi et j'ai ajouté une partie création des
vues matérialisées avec des index pour aller plus vite dans les requêtes :
https://gitlab.com/christophe.badol/administration_donnees/-/blob/main/02_d…
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=372401#p372401
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
25 Sep
25 Sep
9:38 a.m.
Message posté par : jeremy SERIEYE
----------------------------------------
Bonjour Nicolas et merci pour ta réponse.
J'ai réussi à aller plus loin avec le lien WFS suivant :
https://wxs-gpu.mongeoportail.ign.fr/externe/39wtxmgtn23okfbbs1al2lz3/wfs?s…
L'import fonctionne mais avec ce flux j'ai une erreur au bout d'environ 1h de
traitement :
-----------------
Code :
CREATE MATERIALIZED VIEW gpu_import.vm_zone_urba AS
SELECT a.the_geom, a.gml_id, a.partition, a.libelle, a.libelong, a.typezone, a.destdomi,
a.nomfic, a.urlfic, a.insee, a.datappro, a.datvalid , a.idurba, a.idzone, a.lib_idzone
FROM gpu_import.wfs_du_zone_urba a, public.emprise b
WHERE ST_Intersects(a.the_geom, b.the_geom)
-----------------
-----------------
Citation :
ERREUR: GDAL AppDefined [1] XML parsing of GML file failed : reference to invalid
character number at line 1, column 8467758
-----------------
Ma vue ne se crée donc pas, j'ai essayé de jouer sur l'option
"config_options" lors de la création du serveur mais je n'ai pas la
solution.....
Pour info, voici le code complet:
-----------------
Code :
DROP SERVER IF EXISTS fdw_ogr_gpu CASCADE;
CREATE SERVER fdw_ogr_gpu FOREIGN DATA WRAPPER ogr_fdw
OPTIONS (
datasource
'WFS:https://wxs-gpu.mongeoportail.ign.fr/externe/39wtxmgtn23okfbbs1al2lz3/wfs?service=WFS&request=GetCapabilities',
format 'WFS',
character_encoding 'UTF-8',
config_options 'CPL_DEBUG=ON GDAL_HTTP_MAX_RETRY=0 GDAL_HTTP_RETRY_DELAY=3 '
);
SET client_min_messages = debug2;
CREATE SCHEMA IF NOT EXISTS gpu_import;
IMPORT FOREIGN SCHEMA ogr_all
FROM SERVER fdw_ogr_gpu
INTO gpu_import
OPTIONS (
-- mettre le nom des tables en minuscule et sans caractères bizares
launder_table_names 'true',
-- mettre le nom des champs en minuscule
launder_column_names 'true');
SELECT foreign_table_schema, foreign_table_name
FROM information_schema.foreign_tables
WHERE foreign_table_schema = 'gpu_import'
ORDER BY foreign_table_schema, foreign_table_name;
DROP MATERIALIZED VIEW IF EXISTS gpu_import.vm_zone_urba;
CREATE MATERIALIZED VIEW gpu_import.vm_zone_urba AS
SELECT a.the_geom, a.gml_id, a.partition, a.libelle, a.libelong, a.typezone, a.destdomi,
a.nomfic, a.urlfic, a.insee, a.datappro, a.datvalid , a.idurba, a.idzone, a.lib_idzone
FROM gpu_import.wfs_du_zone_urba a, public.emprise b
WHERE ST_Intersects(a.the_geom, b.the_geom);
-----------------
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=362743#p362743
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
26 Sep
26 Sep
8:35 a.m.
Message posté par : n314
----------------------------------------
Les réf 'originelles' qui initient cet usage:
http://blog.cleverelephant.ca/2019/11/ogr-fdw-spatial-filter.html amplié ensuite par
https://www.crunchydata.com/blog/holy-sheet-remote-access-csv-files-from-po… puis
https://www.crunchydata.com/blog/remote-access-anything-from-postgres
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=362776#p362776
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
3:50 p.m.
Message posté par : jeremy SERIEYE
----------------------------------------
Merci pour vos retours.
Je suis toujours bloqué avec l'erreur :
Voici la totalité de mon code:
-----------------
Code :
DROP SERVER IF EXISTS fdw_ogr_gpu CASCADE;
CREATE SERVER fdw_ogr_gpu FOREIGN DATA WRAPPER ogr_fdw
OPTIONS (
datasource
'WFS:https://wxs-gpu.mongeoportail.ign.fr/externe/39wtxmgtn23okfbbs1al2lz3/wfs?service=WFS&request=GetCapabilities',
format 'WFS',
config_options 'CPL_DEBUG=ON GDAL_HTTP_MAX_RETRY=5 GDAL_HTTP_RETRY_DELAY=5' );
SET client_min_messages = debug2;
CREATE SCHEMA IF NOT EXISTS gpu_import;
-- Récupérer l'ensemble des couches WFS comme des tables dans le schéma ref_dreal
IMPORT FOREIGN SCHEMA ogr_all
FROM SERVER fdw_ogr_gpu
INTO gpu_import
OPTIONS (
-- mettre le nom des tables en minuscule et sans caractères bizares
launder_table_names 'true',
-- mettre le nom des champs en minuscule
launder_column_names 'true');
SELECT foreign_table_schema, foreign_table_name
FROM information_schema.foreign_tables
WHERE foreign_table_schema = 'gpu_import'
ORDER BY foreign_table_schema, foreign_table_name;
DROP MATERIALIZED VIEW IF EXISTS gpu_import.vm_zone_urba;
CREATE MATERIALIZED VIEW gpu_import.vm_zone_urba AS
SELECT *
FROM gpu_import.wfs_du_zone_urba a
WHERE LEFT(a.insee,2) ='12';
-----------------
J'ai bien regardé les liens de n314 mais je n'arrive pas à corriger cette erreur.
J'ai aussi trouvé des options de configuration mais je ne sais pas quelle utiliser
dans mon cas de figure.
https://gdal.org/user/configoptions.html
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=362811#p362811
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
13 Sep
13 Sep
11:37 a.m.
Message posté par : melanie.p
----------------------------------------
Bonjour, je répond à ma question, j'ai dû ajouter un sortBy sur la source pour ne plus
avoir l'erreur 400
-----------------
Code :
CREATE SERVER fdw_geopf_du
FOREIGN DATA WRAPPER ogr_fdw
OPTIONS (datasource
'WFS:https://data.geopf.fr/wfs/ows?VERSION=2.0.0&sortBy=gid', format
'WFS');
-----------------
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=369421#p369421
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
18 Mar
18 Mar
5:53 p.m.
Message posté par : kazemar
----------------------------------------
Pour revenir à la question d'origine sur ce fil, avez-vous trouvé une solution pour
l'erreur suivante ?
-----------------
Code :
ERREUR: GDAL AppDefined [1] XML parsing of GML file failed : unclosed token at line
181217, column 0
-----------------
Sachant qu'elle se produit chez moi au bout d'une ou deux minutes en général, et à
chaque fois différente, ici par exemple une autre, avec la même requête :
-----------------
Code :
ERREUR: GDAL AppDefined [1] XML parsing of GML file failed : no element found at line
179777, column 2831
-----------------
Voici le code que j'utilise (et qui a déjà fonctionné, par exemple pour récupérer tous
les zonages PLU de France)
-----------------
Code :
-- Créer le serveur
DROP SERVER IF EXISTS fdw_ogr_gpu;
CREATE SERVER fdw_ogr_gpu FOREIGN DATA WRAPPER ogr_fdw
OPTIONS (
datasource 'WFS:https://data.geopf.fr/wfs/ows?VERSION=2.0.0&sortBy=gid',
format 'WFS'
);
-- Créer un schéma pour le GPU
--DROP SCHEMA fdw_gpu CASCADE;
CREATE SCHEMA IF NOT EXISTS fdw_gpu;
-- Récupérer l'ensemble des couches WFS comme des tables dans le schéma fdw_gpu
IMPORT FOREIGN SCHEMA ogr_all
LIMIT TO ("wfs_sup_generateur_sup_s", "wfs_du_zone_urba",
"wfs_du_secteur_cc")
FROM SERVER fdw_ogr_gpu
INTO fdw_gpu
OPTIONS (
-- mettre le nom des tables en minuscule et sans caractères bizarres
launder_table_names 'true',
-- mettre le nom des champs en minuscule
launder_column_names 'true'
);
-- Données Zones Urba (Zonages PLU)
DROP MATERIALIZED VIEW IF EXISTS fdw_gpu.vm_du_zone_urba;
CREATE MATERIALIZED VIEW fdw_gpu.vm_du_zone_urba AS
SELECT *
FROM fdw_gpu.wfs_du_zone_urba;
-----------------
L'erreur se produit quand j'exécute le dernier bloc "Données Zones
Urba"
----------------------------------------
Le message est situé https://georezo.net/forum/viewtopic.php?pid=372197#p372197
Pour y répondre : geobd(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net
194
days inactive
795
days old
11 comments
1 participants
participants (1)
-
geobd＠georezo.net