Comment sont entraînés les modèles d'IA : un processus complexe et coûteux

Contexte

Selon un article du N/N Group, l'entraînement des grands modèles de langage (LLM) se déroule en trois phases principales. L'apprentissage non supervisé expose d'abord le modèle à d'énormes quantités de données internet. Vient ensuite l'apprentissage supervisé avec des exemples soigneusement sélectionnés, puis l'apprentissage par renforcement avec feedback humain (RLHF). Ce processus, extrêmement énergivore, repose également sur le travail de milliers de personnes pour l'évaluation des contenus.