Ce que les organismes de formation ne peuvent pas encore mesurer : la compréhension réelle de leurs apprenants

Quand une entreprise finance une formation data pour ses collaborateurs, elle pose une question simple à l'organisme : "Est-ce qu'ils ont vraiment appris ?"

La réponse honnête, aujourd'hui, c'est : on ne sait pas vraiment.

Les taux de complétion mesurent la présence. Les QCM mesurent la mémorisation à chaud. Les évaluations à froid mesurent ce qui reste trois semaines après. Mais personne ne mesure ce qui se passe dans la tête de l'apprenant pendant qu'il code, au moment précis où il comprend, ou au moment précis où il se perd.

Ce n'est pas un reproche aux organismes de formation. C'est une limite structurelle des outils disponibles jusqu'ici.

Le problème s'est aggravé avec l'IA

Pendant longtemps, la production de code était une preuve suffisante d'apprentissage. Un apprenant qui rendait un notebook fonctionnel avait probablement compris ce qu'il faisait.

Ce n'est plus vrai.

Les outils d'IA générative permettent aujourd'hui de produire du code correct, documenté, et commenté sans avoir compris une seule ligne de ce qui s'exécute. Un apprenant peut rendre un projet complet de feature engineering sur des données financières sans avoir jamais saisi la différence entre une variance et un écart-type.

Les organismes de formation se retrouvent dans une situation inconfortable : leurs outils d'évaluation ont été conçus pour un monde où produire du code impliquait de le comprendre. Ce monde n'existe plus.

La réponse actuelle : surveiller plutôt que comprendre

Face à ce problème, les organismes de formation ont adopté deux postures.

La première, c'est le retour au présentiel pour les évaluations. Simplon le fait. D'autres organismes aussi. La logique est simple : si l'apprenant est sous les yeux du formateur, il ne peut pas tricher. Et quand le rendu se fait à distance, on ajoute quinze minutes d'entretien oral : "pourquoi tu as choisi cette librairie ?", "explique-moi ce que fait cette fonction", etc. pour vérifier que l'apprenant comprend ce qu'il a rendu.

C'est une approche honnête. Mais elle a une limite : elle mesure ce que l'apprenant peut expliquer après coup, pas ce qu'il a compris pendant.

La deuxième posture, c'est la surveillance technique. AWS et d'autres plateformes de certification enregistrent l'écran, détectent si la fenêtre est maximisée, utilisent des détecteurs oculaires pour voir si le candidat regarde ailleurs, bloquent le copier-coller. Un arsenal impressionnant.

Et pourtant, ça ne suffit pas. Des apprenants ont trouvé des moyens de bypasser ces systèmes, notamment en affichant du texte généré par un LLM dans un format vidéo à une fréquence de frame invisible pour le logiciel de surveillance. Ce genre de hack a même donné lieu à des projets open source.

La course entre la surveillance et le contournement est une course sans fin. Et surtout, c'est la mauvaise course.

Surveiller un apprenant pour détecter s'il triche, c'est supposer que la triche est le problème. Le vrai problème, c'est qu'on n'a pas de moyen fiable de savoir s'il comprend, alors on cherche à s'assurer qu'il n'a pas utilisé d'aide.

C'est fondamentalement différent.

Ce que ça change pour les responsables pédagogiques

La pression vient de partout simultanément.

Les entreprises qui financent les formations via leur OPCO veulent des preuves d'impact mesurables. Les apprenants en reconversion ont besoin de savoir où ils en sont vraiment dans leur montée en compétences. Les formateurs sur le terrain savent intuitivement quand un apprenant est perdu, mais ils n'ont pas les outils pour le détecter systématiquement quand ils ont 20 personnes devant eux.

La question n'est plus "comment on évalue à la fin ?" mais "comment on sait en temps réel qui comprend et qui décroche ?"

Notre approche

Avec l'offre Coding Park Academy, nous intervenons en sous-traitance pédagogique pour les organismes de formation, les écoles d'ingénieurs et les bootcamps sur des modules Python, Data Engineering et Software Engineering.

Ce que nous avons construit va au-delà du contenu et de l'environnement technique.

Nous avons développé trois mécanismes complémentaires pour mesurer la compréhension réelle pendant l'apprentissage.

La détection des états d'engagement

Notre système distingue en temps réel si un apprenant est en train de lire, d'écrire, d'attendre, ou s'il est vraiment bloqué. L'intervention pédagogique - humaine ou assistée par IA - ne se déclenche pas au hasard. Elle se déclenche au bon moment, pour la bonne raison.

Les checkpoints de compréhension

À chaque étape clé du parcours, avant de passer à la suite, l'apprenant répond à des questions ouvertes sur ce qu'il vient de faire. Pas un QCM. Une question qui demande d'expliquer, de justifier, de raisonner. Ce qui est mesuré, c'est ce que l'apprenant a compris, pas ce qu'il a produit.

Le diagnostic de divergence

Quand un apprenant s'écarte du parcours prévu : mauvaise variable, logique incorrecte, structure cassée, etc. le système identifie à quel moment et à quel endroit il a divergé. Le formateur arrive déjà contextualisé. Il ne repart pas de zéro.

Ce que ça change pour un organisme de formation

Pour la première fois, il devient possible de répondre à la question que posent les entreprises : "Est-ce que mes collaborateurs ont vraiment appris ?"

Pas avec un taux de complétion. Pas avec un score de satisfaction. Avec des données de compréhension collectées à chaque étape du parcours, pour chaque apprenant, en temps réel.

C'est ce que nous apportons quand nous intervenons en sous-traitance : pas juste un formateur et un contenu. Une infrastructure pédagogique qui rend la compréhension observable.

Conclusion

La formation technique a longtemps fonctionné sur la confiance. On faisait confiance au formateur, on faisait confiance à l'apprenant, on espérait que ça avait marché.

L'IA a rendu cette confiance insuffisante. Elle a aussi créé une tentation : surveiller plutôt que comprendre, détecter la triche plutôt que mesurer l'apprentissage.

C'est la mauvaise réponse au bon problème.

La bonne réponse, c'est de rendre la compréhension observable, pendant l'apprentissage, pas après. C'est le problème que nous travaillons à résoudre avec Coding Park Academy. Et c'est la raison pour laquelle nous construisons nos modules différemment.

Coding Park Academy accompagne les organismes de formation, écoles d'ingénieurs et bootcamps dans le déploiement de modules techniques hands-on prêts à enseigner. Modules Python, Data Engineering et Software Engineering - cas pratiques issus de missions en production, environnement technique inclus, suivi pédagogique assisté par IA.