Scraping

Prérequis

Pour lancer l'application avec Docker, vous devez avoir installé docker :

• Installer docker sous Linux
• Installer docker desktop pour Windows et macOS

Usage

Récupération des sources

git clone https://github.com/polymny/scraper && cd scraper

Activation du support pour GPU Nvidia (pour cropping)

Ne lancer cette ligne que si vous avez un GPU Nvidia :

cp docker-compose.nvidia.yml docker-compose.override.yml

Démarrage d'un scraping

# Création et démarrage de l'image docker de l'appli et de la base de données
docker-compose up -d --build

# Initialisation / mise à jour de la base de données
docker compose exec server ergol migrate

# Démarrage du scraping sur la famille Apidae
docker compose exec server scraper scrap family=Apidae

# Calcul des médias d'exemple
docker compose exec server generate-examples

# Génération des fichiers CSV
docker compose exec server generate-csv

# Génération du cache pour plotly
docker compose exec server scraper regen-cache

Une fois tout ceci effectué, vous pouvez aller sur localhost:8000 pour naviguer dans la base de données scrapée.

Quand vous avez fini d'utiliser le scraper, vous pouvez lancer la commande suivante pour éteindre le serveur la base de données :

docker compose down