Message posté par : cquest
----------------------------------------
Oui, le manque de signature MD5 (ou autre) publié à la source (et en dehors des archives à
télécharger) rend le contrôle difficile surtout vus les problème d'interruption de
transfert à cause de la saturation de ce pauvre ftp3.ign.fr
7z permet de vérifier l'intégrité des fichiers, je vais faire une passe générale sur
ceux de mon mirroir pour valider qu'il sont corrects et générerait les MD5.
Autre gag... avec le changement d'heure, le serveur FTP a modifié les heures indiquées
de modification des fichiers et du coup mes scripts de mirroring ont commencé à tout
re-télécharger. Je règle mes serveurs en GMT éviter ce genre de choses.
J'ai donc changer d'outil (lftp à la place de wget) pour ne pas tenir compte de la
date mais c'est risqué.
Le problème... certains fichiers ont quand même changé, par exemple le département 18 du
RGE Alti 1m a été mis à jour car le fichier initial était protégé par un mot de passe.
Je constate aussi que des fichiers .7z.001 ont été renommés en .7z et n'ont pas la
même taille... ça n'aide pas !!
Bref, le FTP c'est vraiment une plaie d'un autre siècle, tout devrait
aujourd'hui se faire en HTTP qui est bien mieux normalisé, permet de gérer des caches,
etc, etc.
Malheureux de se retrouver avec des données ouvertes, finalement pas si accessibles juste
3 mois après leur ouverture.
On a vécut la même chose avec Météo France... qui, plutôt que d'opter pour un mode de
diffusion p2p plus adapté dans leur cas a préféré proposer une offre "premium"
de bande passante garantie (payante et chère).
Une infra légère dédiée à cette diffusion opendata, hors infra actuelle IGN qui semble
globalement souffrir à en juger pas
https://stats.uptimerobot.com/28xBxu6Q9, ne coûterait
pas si cher.
Un serveur dédié de stockage avec 48To de disque et 1Gbps de bande passante c'est
moins de 200€/mois chez OVH.
----------------------------------------
Le message est situé
https://georezo.net/forum/viewtopic.php?pid=342465#p342465
Pour y répondre : donnees(a)ml.georezo.net ou reply de votre messagerie
Pour vous désabonner connectez-vous sur le forum puis Profil / Abonnement
--
Association GeoRezo - le portail géomatique
https://georezo.net