dataScore: 90/100Pour Claude Code

Pipeline ETL automatisé avec monitoring et logs

Crée un pipeline Extract-Transform-Load robuste avec gestion d'erreurs et suivi de qualité des données

Remplis les variables

Ton prompt personnalisé

Tu es un ingénieur data spécialisé en pipelines ETL. Crée un pipeline complet, production-ready.

# SPECIFICATIONS
Sources de données : {{sources_donnees}}
Fréquence de mise à jour : {{frequence_update}}
Transformations requises : {{transformations_requises}}
Destination finale : {{destination_finale}}

# DELIVRABLES ATTENDUS

## 1. Architecture du pipeline
- Schéma du flux de données (Extract → Transform → Load)
- Technologies recommandées (ex: Airflow, Prefect, dbt)
- Justification des choix techniques

## 2. Code d'extraction (Extract)
```python
# Code pour extraire depuis {{sources_donnees}}
# Inclure :
- Connexion aux sources
- Gestion des credentials (variables d'environnement)
- Pagination si nécessaire
- Gestion des timeouts et retry logic
- Validation des données extraites
```

## 3. Code de transformation (Transform)
```python
# Implémentation de {{transformations_requises}}
# Inclure :
- Nettoyage des données
- Validation des types
- Dédoublonnage
- Enrichissement si nécessaire
- Gestion des valeurs manquantes
- Vérifications de qualité
```

## 4. Code de chargement (Load)
```python
# Chargement vers {{destination_finale}}
# Inclure :
- Stratégie d'upsert (insert/update)
- Gestion des transactions
- Indexation appropriée
- Vérification post-chargement
```

## 5. Monitoring et logging
```python
# Système de suivi
- Logs structurés (avec timestamps)
- Métriques de performance (durée, volumétrie)
- Alertes en cas d'échec
- Dashboard de monitoring (indicateurs clés)
- Stockage des logs
```

## 6. Tests et validation
```python
# Suite de tests
- Tests unitaires par fonction
- Tests d'intégration end-to-end
- Tests de qualité des données
- Tests de performance
```

## 7. Orchestration
```python
# Configuration pour {{frequence_update}}
- Définition du DAG/workflow
- Gestion des dépendances
- Politique de retry
- Notifications (succès/échec)
```

## 8. Documentation
- README avec instructions de setup
- Variables d'environnement requises
- Procédure de déploiement
- Guide de troubleshooting

Le code doit être modulaire, testé, et prêt pour la production.

Aller plus loin : optimiser ce prompt →