Elta Qbank : Test de positionnement en anglais - modules permettant des évaluations objectives et une pédagogie adaptative

Anglais ; évaluation ; diagnostic ; adaptation ; individualisation.
Formations concernées : potentiellement tous les cours d’anglais des établissements d’enseignement supérieur de la Licence 1 au Master 2
Période d’expérimentation : depuis septembre 2017

 

Contexte – Objectifs du projet


L’objectif du projet EltaQBank est d’avoir un outil de classement des étudiants afin de pouvoir constituer des groupes de niveau en langue anglaise et mesurer leur progression de façon fiable de la Licence 1 au Master 2. Cet outil a vocation à être partagé au sein des établissements d’enseignement supérieur rennais.
L’objectif était de constituer une batterie d’environ cent questions de compréhension orale et cent questions de compréhension écrite puis de les pré-calibrer (en recueillant les réponses des étudiants par des questions ouvertes) afin de pouvoir en extraire des QCM puis de les calibrer par la suite.
Ces deux banques de questions seront intégrées dans les futurs tests de positionnement. Ces questions seront créées selon un protocole rigoureux permettant de les sélectionner et de les étalonner afin d’en optimiser le pouvoir discriminant. Sur le modèle des modules d’apprentissage TACIT, elles permettront des évaluations objectives et ouvriront à une pédagogie adaptative.
Plus largement, ce projet se veut la première étape d’une intégration d’outils quantitatifs de mesure de la performance de nos étudiants en langue étrangère. Une fois finalisé, l’outil a vocation à être mutualisé au sein des établissements enseignement supérieur.
Le projet est toujours en cours de réalisation compte tenu des contraintes liées à la crise sanitaire.
 

Mise en œuvre pédagogique


Le projet a été initié avec l’aide du laboratoire TACIT qui a développé des outils d’aide à l’amélioration de la compréhension de texte. Ils avaient commencé une banque de compréhension de grammaire en anglais. Avec leur appui, il est mené un travail de pré-calibration des questions qui constitueront les tests.
La phase de pré-calibration consiste à donner questions ouvertes afin de recueillir les réponses spontanées des étudiants pour avoir un échantillon qui permet de repérer les erreurs des étudiants et donc fabriquer des QCM à partir de ces erreurs réellement commises par les étudiants et non à partir des « fausses réponses » que l’enseignant peut imaginer. Cette méthode évite les biais et les QCM artificiels dans lesquels les étudiants « détectent » les réponses fabriquées et peuvent ainsi « deviner » la bonne réponse.
A l’aide de l’outil statistique, calibrer les questions textes nécessite 400 passations, soit une centaine de réponses par question.
Fabriquer un outil mutualisable nécessite d’être très rigoureux sur le droit d’auteur relatif aux différents matériaux pédagogiques. Il est très difficile de trouver dans le domaine public des corpus de textes ou des sources audio contemporaines. Les ressources libres de droit posent fréquemment, notamment pour ce qui est audio, un problème de qualité mais aussi d’authenticité puisque ce sont souvent des textes lus par des acteurs et non à partir d’anglais authentique.
Il a donc été nécessaire de rajouter des matériaux authentiques en les fabriquant à partir d’entretiens enregistrés avec des anglophones, ce qui a donc nécessité de se former à ces compétences de prise de son en studio. Le temps de fabrication de ces ressources en plus des banques de questions a ajouté une charge de travail significative.
La dernière phase, à partir des 200 questions créées suite à la pré-calibration, nécessite de faire appel au modèle de Rasch. Ce modèle est couramment utilisé pour avoir une approche mathématique dans le cadre de la théorie des réponses aux items. Par ce modèle, on doit pouvoir extraire 20 questions parfaitement étagées pour avoir une répartition discriminante des questions au sein des QCM.
Ce n’est pas à strictement parler un outil de formation mais un outil « administratif » qui a vocation à être à disposition des collègues anglicistes des établissements rennais. C’est donc un outil destiné à être mutualisé avec d’autres établissements.
 

Ressources produites


L’objectif est la création de deux banques de questions. Création et calibration d’une première banque de questions dans chaque domaine, 100 questions audio et 100 questions texte.
 

Acteurs concernés


Une ingénieure pédagogique du SUP (Claude Hamon) était référente du projet mais ce dernier ne nécessite pas de scénarisation. Les aspects scientifiques du projet étant cadrés par Yvonnick Noël.
Une stagiaire étudiante de Master en Didactique des langues (Nawel Dawal) a fait un stage portant sur la fabrication de test et de questions. Elle a pu travailler avec l'équipe lors de la première phase (recherche d’énoncés audio et texte libres de droits, création d’énoncés audio en studio, conception de questions à pré-calibrer).
Les étudiants impliqués dans cette phase de conception le sont à titre de « cobayes » pour la pré-calibration. On a besoin des étudiants pour calibrer et pré-calibrer, cela ne doit pas être les mêmes afin qu’il n’y ait pas d’effet d’apprentissage. Il a été identifié 2 licences 1 UEL et des licences psycho et info-com (qui sont de grosses promotions) pour faire les calibrations. Il n’y aura pas d’effet d’apprentissage puisque les pré-calibrations remontent à 2 années.
 

Bilan et évaluation du projet


Le projet est toujours en conception. Il pourrait être achevé à la rentrée de septembre 2021 ou, au pire, pour celle de janvier 2022.
Il a permis de montrer que la culture de l’évaluation est faible dans l’enseignement supérieur et que l’évaluation holistique ne possède pas la robustesse d’une évaluation statistique. Il n’y a pas de principes sur lesquels appuyer l’évaluation.
Le projet a permis aux collègues impliqués dans le projet de prendre conscience de ces enjeux de biais et de la nécessité de pouvoir évaluer en s’adossant à une théorie. Le fait de devoir créer une évaluation commune sensibilise à cette nécessité d’avoir des bases et des critères solides pour l’évaluation.
Freins : Compte tenu du caractère exploratoire du projet, il a été difficile de quantifier le temps nécessaire à sa réalisation, prendre le temps d’expliquer la démarche notamment. Le fait que les enseignants ne soient pas tous sensibilisés aux statistiques et à leur utilisation dans des outils d’évaluation a pu aussi ralentir la démarche.
 

Perspectives / essaimage


Le projet étant encore en cours de conception, il n’y a pas encore d’essaimage envisagé mais l’outil a vocation à être diffusé au sein de tous les établissements d'enseignements supérieur.
L’ambition initiale est que le projet puisse se transformer en méthode afin que d’autres collègues puissent s’en saisir. Une fois le test créé (horizon janvier 2022), la méthode de création de questions pourra être partagée bien que le partage puisse parfois être compliqué compte tenu des questions de droit d’auteur sur certaines sources.
Le projet a été présenté lors d’une Journée d’études de l’Université de Rennes 1 destinée aux anglicistes de l’enseignement supérieur rennais.