logo LPI
logo AUF
English   Português   Espagnol   Flux RSS

Création des examens

Après l’étape de récupération et de relecture des articles, il reste à les assembler réellement en examens et à les diffuser.

Création et utilisation des formulaire d’examen

En premier lieu, on sélectionne des articles qui recouvrent tous les objectifs et l’on crée ainsi des formulaires d’examen complet. Il y aura deux versions de chaque test. Chaque formulaire contiendra environ 60 à 80 articles, choisis parmi les objectifs de tests. Lorsqu’un candidat passe un examen, il recevra l’un de ces formulaires. S’il ne réussit pas l’examen et le repasse, il recevra l’autre formulaire. S’il repasse une troisième fois à la suite d’une deuxième échec, il repassera au premier formulaire.

Il est à noter que le logiciel de test utilisé par les centres d’examen "VUE". Si deux candidats sont assis l’un à côté de l’autre et utilisent le même formulaire, les questions n’apparaitront pas dans le même ordre pour chacun.

Phase pilote de la publication de l’examen

Lorsque la composition du formulaire a été déterminé par le personnel du LPI, il reste à convertir les articles sous format texte en fichiers d’examen qui peuvent être déployés dans le réseau des centres d’examen du LPI.

L’examen entre alors dans une phase de test destiné à évaluer si les questions fonctionnent correctement et mesurent les savoir-faire et compétences qu’elles sont censée mesurer. Dans le monde de l’industrie, cette phase est appelée "pilote", "initiale" ou "étape de recherche de test". En ce qui concerne le domaine des technologies de l’information, cette phase est appelée "Beta test".

Durant cette période, les candidats peuvent s’inscrire pour passer ces tests dans les centres locaux. Ils sont crédités comme pour une examen standard. La différence principale est qu’ils ne reçoivent pas immédiatement leur résultat lorsqu’ils passent un examen en version "beta". Pour la deuxième version du niveau 1 (août 2000), une nouvelle forme d’examen en version "beta" a été utilisée : la version "ensemencée". Cette nouvelle forme permet à un candidat d’être noté sur un nombre limité d’articles qui ont déjà été évalué. D’autres articles en statut "beta" sont "semés" dans le formulaire pour récupérer des informations sur leur résultats. (A noter que dans cette dernière version, l’examen peut avoir plus des 60 à 100 questions évoquées plus haut. Un temps supplémentaire est alloué au candidat pour lui permettre de répondre à ces questions additionnelles et leurs réponses ne sont pas prises en compte dans le résultat final)

Cependant, avant que l’on ne puisse affecter des résultats à un examen contenant de nouveaux articles, il faut décider quel est le score de réussite. Ceci est un processus complexe en lui même et qui implique de nombreux autres processus se déroulant à ce moment là.

Obtention d’un nombre critique d’examens

La première nécessité pour être capable de fixer un score de réussite est d’obtenir un nombre adéquat d’examens. Comme les certifications Linux étaient relativement nouvelles, l’objectif original pour le niveau 1 était d’obtenir au moins 100 examens pour chaque formulaire. Puisque 2 formulaires différents sont utilisés par examen, il fallait faire passer au moins 200 examens pour chaque examen LPI-101 et LPI-102. Pour ce faire, le LPI a multiplié les encouragements en offrant des réductions, mais aussi en utilisant des centre d’examens durant la manifestation "Linux Business Expo" (printemps 2000). Comme le soutien qui est apporté au LPI s’est largement développé, le nombre de données a largement dépassé cet objectif, permettant d’obtenir des résultats les plus pertinents.

Lors de cette étape, nous avons pu également collecter diverses informations sur les personnes passant les examens (Depuis quand travaillent-ils avec Linux, effectuent-ils de l’administration quotidiennement, à quel point se sont ils préparés ...) Dans l’idéal, le but est de disposer d’un nombre significatif d’examens passés par des personnes qui sont les plus proches possible de la description du métier cible projeté. Ces informations, sont prises en compte par les personnels du LPI spécialisés en psychométrie lors de la relecture des questions.

Relecture des questions

Au fur et à mesure que les réponses parviennent, les personnels du LPI spécialisés en psychométrie évaluent les données. Se trouve t-il des questions pour lesquelles toutes les réponses sont correctes et inversement des questions pour lesquelles toutes les réponses sont incorrectes. (les deux cas indiquent que quelque chose est incorrect pour cette question) Quelles sont les commentaires effectués par les personnes passant les examens.

Un mécanisme permettant aux examinés de soumettre des commentaires a été mis en place. Comme on peut l’imaginer en s’adressant à une communauté ayant des opinions tranchées et une capacité à taper rapidement sur un clavier, le volume de commentaires est très important.

Une partie du travail à ce stade est de passer aux crible les commentaires pour en faire ressortir des soucis et questions. Malgré le long et complet processus de relecture, il est apparu des erreurs techniques ayant échappées au contrôle et il y avait un certain nombre de questions à éliminer. Nombre de ces erreurs ont pu être décelées par les commentaires envoyés par les candidats.

Etude basée sur la méthode Angoff-modifié

Pendant que les personnels du LPI spécialisés en psychométrie revoient les questions, un autre groupe d’experts participent à une étude utilisant une méthode appelée "Angoff-modifiée". L’idée est d’apporter de nouvelles données de mesure de performance pour valider les questions et d’aider à la détermination du score de réussite.

Le processus est le suivant :
- L’expert reçoit une copie des questions présentes sur les 2 formulaires
- L’expert (indépendamment et en concertation avec les autres) considère chaque question et émet un jugement concernant la possibilité qu’une personne ayant les qualifications nécessaires à l’exercice du métier cible soit capable de répondre correctement à cette question. C’est-à-dire que l’on demande aux experts d’envisager la question du point de vue de quelqu’un qui serait situé en bas de l’échelle de compétence pour ce métier
- L’expert classe chaque question en lui associant le pourcentage de bonne réponse qu’il estime en gardant à l’esprit que pour les questions à choix multiple, certaines personnes trouvent la bonne réponse en devinant

Les données issues de cet exercice sont utilisées de la manière suivante. Si un expert considère que la question est difficile et que le taux estimé de bonne réponse se trouve aux alentours de 30% alors que les résultats donnent 90% de bonnes réponses, cela signifie que la question doit être examinée pour savoir si la réponse est révélée (ou donnée par une autre question de l’examen). Inversement, s’il existe une question pour laquelle l’expert estime que tous les candidats devraient connaître la réponse et que le taux de bonnes réponses estimé est de 95%, dans le cas où les résultats des examens donnent 10% de bonnes réponses, il faut également examiner la question pour savoir s’il s’agit de mettre en questions l’écriture de la question ou s’il s’agit d’un autre problème.

Idéalement, les résultats de la méthode Angoff devrait être fait en parallèle avec les résultats réels des examens passés durant la période de "beta test"

A part son utilisation pour valider des articles, cette étude est également utilisée pour déterminer les socre de réussite à l’examen. Par exemple si l’on considère le cas où les résultats de l’étude prédisent que toutes les questions sont ardues pour un examen donnée et que le taux de réponse correcte est d’environ 30%. Cette information suggère au personnels du LPI spécialisés en psychométrie d’abaisser le score de réussite car les questions sont plus difficiles. Le rapport de l’étude complète effectuée pour les examens de niveau 1 (LPIC-1) est disponible à la fin de cet article.

Envoi des résultats

Après avoir l’étape de collecte de données, leur analyse et l’étude basée sur la méthode Angoff, les personnels du LPI spécialisés en psychométrie déterminent un score de réussite et notent manuellement les examens passées durant la période "beta test". Les résultats sont envoyés par courrier à tous les candidats ayant passés les examens.

Re-publication des examens

A la suite du travail effectuée durant la période de "beta test", le score de réussite a été fixé, les mauvais articles ont été retirés ou modifiés et l’examen est prêt à être re-publié. Cela implique la création d’un fichier d’examen propre à être distribué dans le réseau des centres d’examens et impose un important travail de relecture, ce qui peut prendre un mois ou davantage.


Les articles de la rubrique


En bref...