Le transfer learning consiste à prendre un modèle déjà entraîné sur un grand jeu de données (source) et à le réutiliser pour une tâche différente mais connexe (cible). Les couches basses du réseau apprennent des caractéristiques génériques (bords, textures, formes) qui sont transférables. On distingue deux approches principales : l’extraction de caractéristiques (features extraction) et le réglage fin (fine‑tuning). ISOSET enseigne ces techniques avec des cas pratiques en vision par ordinateur et en traitement automatique du langage.

• Extraction de caractéristiques – on gèle les couches du modèle pré‑entraîné et on n’entraîne qu’un nouveau classifieur.
• Fine‑tuning – on dégèle une partie des couches supérieures et on réentraîne l’ensemble avec un petit taux d’apprentissage.

• Réduction du besoin de données étiquetées – fonctionne avec quelques centaines d’images par classe, contre des millions pour un entraînement from scratch.
• Temps d’entraînement réduit – quelques heures ou minutes sur GPU au lieu de plusieurs jours.
• Meilleure généralisation – le modèle a déjà appris des représentations robustes.
• Accès à des architectures état‑de‑l’art – ResNet, BERT, GPT sont disponibles dans les bibliothèques standard.

ISOSET aide les entreprises à mettre en œuvre le transfer learning pour des projets de classification d’images, analyse de sentiments, ou détection d’anomalies.

Des modèles entraînés sur ImageNet (1,2 million d’images, 1000 classes) sont disponibles dans PyTorch (torchvision) et TensorFlow (Keras Applications).

• VGG – simple mais lourd (plusieurs centaines de couches). Bon pour l’apprentissage.
• ResNet (Residual Network) – introduit les connexions résiduelles, permet des réseaux très profonds (ResNet50, ResNet152).
• EfficientNet – architecture optimisée en complexité, meilleur compromis précision / performance.
• MobileNet – conçu pour les environnements contraints (mobile, embarqué).

# Charger ResNet50 pré‑entraîné (PyTorch)
import torchvision.models as models
resnet = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V1)
# Geler les paramètres
for param in resnet.parameters():
    param.requires_grad = False
# Remplacer la dernière couche pour 10 classes (ex: CIFAR-10)
resnet.fc = torch.nn.Linear(2048, 10)

ISOSET propose des ateliers pratiques pour adapter ces modèles à des jeux de données métier (radiographies, défauts industriels).

Les modèles de langage pré‑entraînés (LLM) ont révolutionné le NLP. BERT (Bidirectional Encoder Representations from Transformers) et ses dérivés (RoBERTa, DistilBERT) excellent pour la classification, la reconnaissance d’entités nommées, l’analyse de sentiments. GPT (Generative Pre‑trained Transformer) est spécialisé dans la génération de texte.

• BERT – basé sur l’encodeur, idéal pour la compréhension (classification, Q&A).
• GPT – basé sur le décodeur, génération de texte, conversation, code.
• T5 (Text‑to‑Text Transfer Transformer) – unifie toutes les tâches en format texte → texte.
• Fine‑tuning avec Hugging Face – `Trainer` API, tokenizers, datasets.

# Fine‑tuning de BERT avec Hugging Face
from transformers import AutoModelForSequenceClassification, Trainer
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)
# ... préparation des datasets, tokenisation
trainer = Trainer(model=model, train_dataset=tokenized_train, eval_dataset=tokenized_val)
trainer.train()

ISOSET forme aux modèles de langage modernes, de l’utilisation des modèles pré‑entraînés au fine‑tuning sur données métier.

• Feature extraction – idéal quand le jeu de données cible est très petit (moins de 100 images par classe) ou très similaire à la source (ex: ImageNet → photos d’animaux).
• Fine‑tuning (complet) – recommandé quand le jeu de données cible est de taille modérée (1000+ images) ou significativement différent (ex: radiographies médicales).
• Fine‑tuning partiel – on dégèle seulement les dernières couches (par ex: les 2‑3 blocs supérieurs) pour éviter l’oubli catastrophique.

# Étapes typiques du transfer learning
1. Charger un modèle pré‑entraîné (resnet50)
2. Geler tous les paramètres (requires_grad=False)
3. Remplacer la dernière couche (classifieur) pour le nombre de classes cible
4. (Optionnel) Fine‑tuning : dégeler les dernières couches et utiliser un petit lr
5. Entraîner sur le jeu de données cible (seulement les nouvelles couches ou l’ensemble)

Les bibliothèques modernes comme `timm` (PyTorch Image Models) donnent accès à des centaines de modèles pré‑entraînés avec des poids prêts à l’emploi. ISOSET forme à l’utilisation de ces bibliothèques dans des environnements de production.

Le transfer learning s’applique aussi à l’audio (modèles pré‑entraînés sur AudioSet, ex: YAMNet), aux séries temporelles (représentations apprises sur de grandes bases de données comme UCR), et à la bioinformatique (séquences protéiques).

• Oubli catastrophique – si le fine‑tuning est trop agressif (taux d’apprentissage élevé), le modèle peut perdre les connaissances génériques. Utiliser un petit lr (1e-5 à 1e-4).
• Domain shift important – si la tâche source est très éloignée (ex: ImageNet → rayons X médicaux), l’extraction de caractéristiques peut échouer ; préférer un fine‑tuning complet ou réentraîner plus de couches.
• Risque de surapprentissage – avec un petit jeu de données, même le fine‑tuning peut sur‑apprendre. Utiliser la régularisation (dropout, augmentation de données).

ISOSET recueille des témoignages d’apprenants qui ont surmonté ces difficultés grâce aux bonnes pratiques enseignées.

Pour les très grands modèles (LLM de plusieurs milliards de paramètres), le fine‑tuning complet est trop coûteux. Des techniques paramètre‑efficaces émergent : LoRA (Low‑Rank Adaptation), adaptateurs, ou fine‑tuning partiel de biais. Le few‑shot learning (apprentissage à quelques exemples) utilise des prompts pour guider le modèle sans réentraînement.