SONAR|HES-SO

SONAR|HES-SO

SONAR|HES-SO regroupe les travaux de bachelor et master diffusables de plusieurs écoles de la HES-SO. Consultez cette page pour le détails.

En cas de question, merci de contacter les bibliothécaires de la HES-SO : bibliotheques(at)hes-so.ch

Back to SONAR
Back
Mémoire
Master thesis

Étude, conception, collecte, curation et évaluation d’un scraping de sites web liés au transport maritime pour améliorer la prédiction du fret de matières premières

    2020

133 p.

Mémoire de master: Haute école de gestion de Genève, 2020

big data
web scraping
maritime data
data curation
Scrapy
OpenRefine
French Ce travail de master s’inscrit comme étape préalable dans le projet Innosuisse Precise Intelligence, ayant comme partenaires la HES-SO Genève et la société de logistique et de courtage maritime RiverLake. Ce projet vise à compléter les données sur les flux du transport maritime de matières premières avec l’aide, notamment, de données présentes sur le web public. Comme son titre l’indique, cette étude a été réalisée en plusieurs étapes. Tout d’abord, l’examen du domaine du transport maritime de matières premières et de ses différents acteurs a permis la création d’une liste de 100 sources web qui correspond à des ports commerciaux proposant des données sur le web public. De ces différentes sources, un échantillon de onze ports a été retenu. L’analyse de la typologie des données disponibles dans cet échantillon a permis alors la réalisation d’un référentiel normalisé, dans le but d’identifier les données qui seront plus tard récupérées. Enfin, une preuve de concept consistant au web scraping de ces différentes sources durant 3 jours, du 25 au 27 juin 2020, a rendu possible la collecte de 3'322 enregistrements comprenant des données sur l’identité et le voyage de 1'472 navires uniques. Ces enregistrements ont été nettoyés et uniformisés dans la mesure du possible avec le logiciel OpenRefine. Les limites de ce travail sont : 1) l’impossibilité de certifier l’origine des données publiques récoltées ; 2) la qualité des données, notamment en ce qui concerne leur exactitude, n’est pas comparée ni vérifiée ; 3) les données n’indiquent pas, à de rares exceptions, la cargaison transportée ; 4) les données proviennent uniquement des sites web de ports commerciaux. Malgré ces limites, les perspectives offertes par la méthode employée dans ce travail et les données récupérées indiquent la possibilité de reconstruire la trajectoire de différents navires. Cette conclusion est essentielle pour pouvoir déterminer dans une seconde étape le niveau de complétude des données issues du web public par rapport aux données déjà acquises, grâce à l’AIS notamment. Les données récupérées et analysées dans ce mémoire sont disponibles à l’adresse suivante : https://doi.org/10.5281/zenodo.3980515
Language
  • French
Classification
Information, communication and media sciences
Notes
  • Haute école de gestion Genève
  • Information documentaire
  • hesso:hegge
License
License undefined
Identifiers
  • RERO DOC 329736
Persistent URL
https://sonar.ch/hesso/documents/314887
Statistics
Document views: 270 File downloads:
  • Druey-M_moire-Vdef.pdf: 997