Un modèle peut très bien réussir sur les données d’entraînement mais échouer sur de nouvelles données : c’est le **sur‑apprentissage** (overfitting). La validation croisée simule des données non vues en découpant plusieurs fois le jeu d’entraînement en sous‑ensembles. Elle donne une estimation plus robuste de la performance réelle. ISOSET enseigne ces méthodes pour éviter les pièges classiques du machine learning.

• Biais (underfitting) – modèle trop simple, ne capture pas la tendance.
• Variance (overfitting) – modèle trop complexe, mémorise le bruit.
• Compromis biais‑variance – choisir la complexité optimale.

Le principe : on divise aléatoirement les données en **K** parties (folds) de taille approximativement égale. On entraîne le modèle sur K‑1 folds et on valide sur le fold restant. On répète K fois, chaque fold servant une fois comme validation. La performance finale est la moyenne des métriques sur les K plis. Les valeurs courantes : K=5 ou K=10 (bon compromis biais‑variance).

# K‑fold avec scikit‑learn
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier()
scores = cross_val_score(model, X, y, cv=5, scoring='accuracy')
print(f"Accuracy moyenne : {scores.mean():.3f} (+/- {scores.std():.3f})")

ISOSET forme à la mise en œuvre de K‑fold et à l’interprétation des intervalles de confiance.

• Leave‑One‑Out (LOOCV) – K = N (nombre d’observations). Très coûteux, mais utile pour petits jeux de données.
• Stratified K‑fold – préserve la proportion de classes dans chaque pli (classification déséquilibrée).
• Repeated K‑fold – répète K‑fold plusieurs fois avec différentes randomisations, réduit la variance de l’estimation.
• Group K‑fold – préserve des groupes (ex: patients) pour éviter la fuite d’informations.

# Stratified K‑fold pour une classification avec déséquilibre
from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=5)
for train_idx, val_idx in skf.split(X, y):
    # entraînement sur train_idx, validation sur val_idx

L’accuracy (proportion de bonnes prédictions) peut être trompeuse en cas de classes déséquilibrées. On utilise alors :

• Précision (Precision) – parmi les prédictions positives, combien sont réellement positives ?
• Rappel (Recall / Sensibilité) – parmi les vrais positifs, combien ont été détectés ?
• F1‑score – moyenne harmonique de précision et rappel.
• AUC‑ROC – capacité du modèle à distinguer les classes (indépendante du seuil).
• Matrice de confusion – visualise les vrais/faux positifs/négatifs.

# Calcul des métriques avec scikit‑learn
from sklearn.metrics import classification_report, roc_auc_score
print(classification_report(y_test, y_pred))
auc = roc_auc_score(y_test, y_proba)
print(f"AUC : {auc:.3f}")

ISOSET enseigne à choisir la métrique adaptée au coût métier (ex: rappel élevé pour détection de fraude).

• MSE (Mean Squared Error) – pénalise carrément les grandes erreurs.
• RMSE (Root MSE) – dans l’unité de la cible, plus interprétable.
• MAE (Mean Absolute Error) – moins sensible aux outliers.
• R² (coefficient de détermination) – proportion de variance expliquée par le modèle (entre 0 et 1, peut être négatif).
• MAPE (Mean Absolute Percentage Error) – erreur relative en pourcentage.

# Exemple de métriques régression
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
mse = mean_squared_error(y_test, y_pred)
rmse = mse ** 0.5
mae = mean_absolute_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

`GridSearchCV` combine validation croisée et recherche exhaustive des hyperparamètres. Elle teste toutes les combinaisons d’une grille et retourne les meilleurs paramètres ainsi que les scores de validation croisée.

# Recherche d’hyperparamètres avec GridSearchCV
from sklearn.model_selection import GridSearchCV
param_grid = {'n_estimators': [50, 100], 'max_depth': [None, 10, 20]}
grid = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring='f1')
grid.fit(X_train, y_train)
print(grid.best_params_)
print(grid.best_score_)

ISOSET forme à l’optimisation avancée (RandomizedSearchCV, Bayesian optimization).

• Data leakage – utiliser des informations du futur (ex: normaliser avant split). Toujours appliquer la validation croisée **après** avoir séparé l’ensemble de test.
• Validation sur test trop fréquente – le jeu de test ne doit servir qu’une seule fois. Sinon, on s’adapte au test (overfitting au test).
• Classes déséquilibrées – utiliser la validation stratifiée et des métriques adaptées (F1, AUC).
• Corrélation temporelle – pour les séries temporelles, utiliser une validation chronologique (TimeSeriesSplit).

Les témoignages d’anciens élèves d’ISOSET confirment l’utilité pratique : *« La validation croisée m’a permis de comparer objectivement plusieurs modèles. J’ai évité le sur‑apprentissage et gagné en fiabilité pour les prédictions en production. »*