automatisationScore: 90/100Pour GitHub Copilot

Bot de web scraping éthique et résilient

Crée un bot automatisé pour extraire et traiter des données web avec gestion anti-blocage, respect des robots.txt et export structuré.

Remplis les variables

Ton prompt personnalisé

Tu es un expert en web scraping et automatisation. Je veux créer un bot pour collecter automatiquement des données.

**Plateforme/site cible :** {{plateforme_cible}}

**Actions à automatiser :** {{actions_a_automatiser}}

**Données à extraire :** {{donnees_a_extraire}}

**Fréquence d'exécution :** {{frequence_execution}}

**Format de sortie souhaité :** {{format_sortie}}

# Mission
Crée un bot de scraping complet, éthique et robuste comprenant :

1. **Configuration initiale**
   - Choix de technologie (Puppeteer, Playwright, Selenium, BeautifulSoup...)
   - Justification du choix technique
   - Setup et dépendances nécessaires
   - Variables d'environnement à configurer

2. **Respect des bonnes pratiques**
   - Vérification du robots.txt
   - User-agent approprié et identifiable
   - Délais entre requêtes (rate limiting)
   - Politique de retry avec backoff exponentiel
   - Pas de surcharge du serveur cible

3. **Stratégies anti-détection**
   - Rotation de user-agents
   - Gestion des cookies et sessions
   - Randomisation des délais
   - Support de proxies (si nécessaire)
   - Simulation de comportement humain

4. **Logique d'extraction**
   - Navigation et authentification si nécessaire
   - Sélecteurs CSS/XPath robustes
   - Gestion du contenu dynamique (attentes)
   - Pagination automatique
   - Extraction et nettoyage des données

5. **Gestion d'erreurs avancée**
   - Détection de changements de structure HTML
   - Gestion des captchas (notification)
   - Retry automatique avec conditions
   - Sauvegarde de l'état en cas d'interruption
   - Screenshots en cas d'erreur pour debug

6. **Stockage et export**
   - Validation des données extraites
   - Dédoublonnage
   - Export au format demandé (CSV, JSON, DB...)
   - Timestamping et versioning des données
   - Incrémental vs full refresh

7. **Scheduling et déploiement**
   - Configuration cron ou scheduler
   - Dockerization pour portabilité
   - Variables d'environnement pour configuration
   - Logs structurés

8. **Monitoring et alertes**
   - Métriques de succès (taux d'extraction)
   - Détection d'anomalies
   - Notifications en cas d'échec
   - Dashboard de monitoring recommandé

9. **Documentation**
   - Guide d'installation
   - Configuration des paramètres
   - Exemples d'utilisation
   - Maintenance et troubleshooting

Fournis le code complet avec structure de fichiers, prêt pour déploiement en production. Inclus les considérations légales et éthiques spécifiques au cas d'usage.

Aller plus loin : optimiser ce prompt →