Etat de l'art commercial

Avant de se lancer dans un tel projet informatique, il est important de se
renseigner sur les différentes solutions présentes sur le marché ainsi que sur
l’avancement technique liée à cette problématique.
D’abord nous allons nous plonger dans l’aspect commercial et voir
quelles solutions sont mises à disposition des établissements d’enseignements.

En cherchant sur internet, on retrouve une multitude de solutions de
‘proctoring’ (un terme anglais signifiant : surveiller des personnes faisant un
examen et s’assurer qu’ils ne trichent pas).
Intéressons–nous d’abord aux solutions utilisées par de grandes
universités tel que Sorbonne Université, l’Université d’Amsterdam ou
Polytechnique Montréal : ces 3 universités se retrouvent sur le site de
ProctorExam. D’après la démo de ProctorExam, l’étudiant doit montrer sa
pièce d’identité avant de débuter et son visage pendant la durée de l’examen.
Un téléphone est aussi placé derrière le candidat afin d’avoir une vue de la
pièce sur laquelle il se trouve. Cependant, on ne trouve pas de détails
concernant la façon dont la détection de triche est faite, mais nous avons
contacté l’assistance technique de Proctor Exam, qui nous a indiqué que la
reconnaissance faciale ainsi que la surveillance de la pièce est faite de
manière continue durant tout le déroulement de l’examen. A la fin de
l’examen, le professeur reçoit un rapport avec tous les incidents relevés par
ProctorExam. Nous n’avons pas trouvé d’information concernant le prix de la
solution, étant donné qu’il faut demander une démo et un devis afin d’avoir
une réponse. Nous notons que cette solution nous semble très professionnelle,
avec par exemple des assistants techniques sur le chat du site disponibles pour
toute question.
On retrouve une autre solution de proctoring répandue particulièrement
aux Etats–Unis et classée par plusieurs sites web comme étant l’une des
meilleures solutions présentes sur le marché : ProctorU. Il est à noter que
depuis le 28 février 2022, cette solution a fusionné avec Yardstick Assessment
Solutions qui est une autre entreprise de proctoring et est devenue Meazure
Learning. Cela laisse présager une croissance rapide du chiffre d’affaires de
cette nouvelle entreprise. Cette solution permet 2 sortes de surveillance :
automatisée grâce à l’IA ou/et faite par une personne. On peut lire sur le site
‘Automated monitoring paired with human review and validation’, cela signifie
que la vérification automatique grâce à l’IA accompagne la vérification
humaine. Le produit ‘ProctorU Platform’ permet par exemple d’offrir une aide
supplémentaire à un professeur qui surveille ses élèves lors d’un examen en
ligne. La plateforme détecte les comportements suspects et par la suite un
surveillant certifié vérifie s’il y a une tentative de triche ou non. On retrouve de
multiples options qu’on peut personnaliser avec différents produits
disponibles. Ainsi l’équipe de Meazure Learning s’occupe de tous les processus
liés à un examen en ligne (assister le professeur, créer un horaire d’examen,

surveillance, …). D’après un article sur le site de l’Université de Louisiane, un
étudiant passant un examen en ligne avec cette solution doit s’acquitter d’une
somme entre 15 et 30$. Ainsi, cette somme est assez élevée étant donné que
l’IA offre une grande assistance lors de la détection de triche, ce qui réduit le
temps de travail d’un employé qui vérifie les tentatives de triche. On suppose
que lors d’un examen en ligne d’une heure et de 20 personnes, le prix est de 20
* 15 = 300 $. On suppose aussi que lors d’un examen d’une heure, il y a environ
2 évènements suspects par candidat, ce qui fait un total de 80 événements
suspects pour cette session d’une heure. Or, si l’employé de l’entreprise prends
1 minute pour vérifier un incident et indiquer si c’est de la triche ou non, alors
en 80 minutes il pourra vérifier l’intégralité des événements. Supposons que
cet employé est payé à 20$/heure (ce qui est une estimation élevée), alors il
sera payé 27 $ pour cette prestation. Ainsi, l’entreprise peut potentiellement
avoir un bénéfice de 300 – 27 = 273 $ pour une heure. Cependant, ce bénéfice
dépend de l’efficacité et des capacités du système d’IA développé par Meazure
Learning.
Sur le marché français, on retrouve Mereos qui est d’après forbes.fr ‘le
discret leader français des examens en ligne’. Dorone Parienti qui est le co–
fondateur de cette solution indique que sa solution permet le blocage du
navigateur, la détection d’un double écran ainsi que l’enregistrement de la
caméra du candidat et de son écran. ‘Une équipe de surveillant de Mereos
visionne ensuite les flux enregistrés et édite un rapport de fraude le cas
échéant’ déclare le co–fondateur. Nous avons contacté Mereos afin de nous
renseigner sur le prix de la solution mais il ne la communique pas
publiquement tant que nous n’avons pas demandé un devis. Parmi ses clients
on retrouve l’ESAM Paris, le Haut Comité pour la Défense Civile ou TonAvenir.
Tout comme ProctorU, cette solution est basée sur une IA mais aussi sur une
vérification humaine. Une autre entreprise française, TestWe, qui est l’un des
leaders du marché du secteur des examens en ligne d’après Le Figaro, a
développé une solution de surveillance nommée ProctorWe. Cette solution
prend en photo le candidat chaque intervalle de quelques secondes (on n’a pas
une vidéo en continu), et à la fin on obtient un film du déroulement de
l’examen. Parmi ses clients, on retrouve des universités brésiliennes ou le
groupe BPCE.

En somme, une multitude de solutions se trouvent sur le marché, nous
en avons sélectionné quelques–unes, qui ont été cités par plusieurs articles et
qui ont le meilleur SEO. Les prix ne sont pas indiqués clairement sur le site web
des solutions. Les solutions sont en général très personnalisables, ce qui à une
influence sur le prix.

Etat de l'art technique

On se plonge à présent dans la recherche et l’avancée concernant les
solutions de surveillance d’un examen en ligne. En faisant des recherches sur
ResearchGate, on retrouve l’article ‘Automated Online Exam Proctoring’,
réalisé par Atoum, Chen, Liu et Hsu et Xioming Liu de l’Université de Michigan.
Ils proposent un système de surveillance entièrement automatisé
(contrairement aux solutions présentées précédemment qui requièrent une
intervention humaine pour valider ou non le bon déroulement de l’examen). Le
système est composé d’une caméra (de l’ordinateur), d’un microphone et
d’une autre caméra qui filme la pièce. Il est basé sur la vérification de
l’utilisateur, de la détection du texte et de la voix, du regard, de la vérification
des fenêtres ouvertes sur l’ordinateur et de la détection de téléphone. Ils
évaluent leur système grâce à un dataset généré par 24 personnes qui trichent
de diverses manières pendant un examen en ligne. Ils démontrent un taux de
réussite de leur modèle de 87%.
On retrouve un autre article : ‘An intelligent system for online exam
monitoring’ publié en 2016 par Pratish, Narayanan et Bijalani. Ils utilisent la
caméra de l’ordinateur ainsi que son micro et l’écran du candidat. Ils évaluent
le degré de l’angle du visage du candidat (head pose) et se basent aussi sur le
son ainsi que sur l’écran pour voir si le candidat triche ou non. D’après les
chercheurs, leurs résultats d’expérience ont montré une meilleure efficacité
que les systèmes existants déjà en 2016.
Il existe peu d’études qui ont réalisé un système de surveillance
d’examen entier (de l’authentification, à la détection, …). Cependant, les
systèmes réalisés par les chercheurs sont efficaces et coutent moins chers que
les systèmes présents sur le marché : ils ne nécessitent pas d’intervention
humaine.