Dans le cadre de l'UE (Unité d'Enseignement) Internet des objets, il nous a été demandé de réaliser un système de surveillance d'examens. Il s'agit de créer une application qui communique avec un ordinateur selon le protocole client-serveur afin d'analyser le comportement d'un candidat pendant un examen.

Nous voulions créer une solution qui soit simple d'utilisation, accessible à tous public et à un prix abordable. Cependant, l'enjeu était de taille car à nos débuts, nous ne maîtrisions presque aucun outils que nous avons utilisé (langages, logiciels, etc.). Malgré tout, nous avons persévéré pour que notre solution puisse proposer un ensemble de fonctionnalités qui répondent aux attentes des utilisateurs. Parmi ces fonctionnalités nous avons :
- la reconnaissance faciale,
- la reconnaissance d'objets
- l'enregistrement vocal
- la détection de mouvements

Si vous ne voyez pas l’image cliquez ici. 

RAPPORT TECHNHIQUE

 

I. INTRODUCTION

 

Dans le cadre de l’UE (Unité d’Enseignement) Internet des objets, il nous a été demandé de réaliser un système de surveillance d’examens. Il s’agit de créer une application qui communique avec un ordinateur selon le protocole client-serveur afin d’analyser le comportement d’un candidat pendant un examen. En effet, l’ordinateur qui joue le rôle de serveur doit pouvoir analyser les données envoyées par l’application qui simule le client afin de déterminer les suspicions de fraude que nous énumérons plus tard.

Pour ce faire, l’application possède deux modes principaux.

1. Un mode tête qui signifie que l’application est placée sur la tête du candidat. Dans ce cas, elle va:

• prendre une photo toutes les deux secondes pour les envoyer au serveur afin de lui montrer ce que le candidat voit pendant la réunion,
• envoyer au serveur les coordonnées x y et z de l’accéléromètre placé dans l’appareil contenant l’application pour qu’il puisse déterminer les mouvements de la tête pendant la réunion.

2. Un mode main lorsque l’application est placée sur la main. Ainsi :

• comme pour l’application, elle enverra au serveur les valeurs de l’accéléromètre,
• elle affichera sur son écran un chronomètre montrant le temps écoulé depuis le début de la réunion.

Ce projet a ainsi pour objectif de proposer un prototype d’outil d’aide à la prise de décision. Il retranscrit les suspicions de fraude dans des fichiers Excel qui seront consultés par l’examinateur pour qu’il puisse en déduire s’il y a réellement eu au moins une fraude. Mais pour mieux comprendre la démarche entamée, nous avons rédigé ce rapport technique afin d’y décrire les fonctionnalités du système ainsi que les détails d’implémentation.

II. gRPC : Remote Procedure Call

gRPC est une technologie de communication open source développée par Google. Elle consiste en la création d’un service (avec ses méthodes, entrées et sorties) compatible avec de nombreux langages de programmation comme Java, Kotlin, Python, etc.

Il permet ainsi de construire des liaisons client/serveur avec une très bonne prise en charge de la diffusion bidirectionnelle:

• Le serveur implémente une interface et exécute un serveur gRPC pour gérer les clients,
• Le client dispose d’un stub qui fournit les mêmes méthodes que le serveur pour qu’il puisse communiquer avec lui.

C’est pour ces raisons que nous avons utilisé le protocole gRPC. Pour qu’il puisse effectuer des communications entre notre programme Kotlin (application mobile) et notre serveur Python (ordinateur portable). Voici une représentation simplifiée de notre protocole client-Serveur: Pour mettre en place un tel protocole, il faut dans un premier temps créer un IDL (Interface Definition Language) qui n’est rien de plus qu’un contrat de service rédigé sous la forme d’un fichier texte `.proto`. Ainsi, grâce à ce dernier, le compilateur Protobuf `protoc` va pouvoir générer du code pour le client et le serveur.

• Dans le cas de notre système de surveillance d’examen, nous avons créé le fichier `envoie.proto` qui est composé : de deux blocs identiques qu’on appelle des messages et qui sont composés d’une série de paires (type, nom de la variable) appelées champs. Voir code ici.
•  d’un bloc qui définit le service gRPC et qui va être utilisé pour la communication client-serveur. Voir code ici.

Dans un second temps, il faut mettre à jour le code gRPC (utilisé par notre serveur python) pour qu’il puisse utiliser notre service. Pour ce faire, on se place sur le répertoire où se trouve notre fichier proto (ici SpyCheat) et on exécute les commandes suivantes : Voir code ici.

Les fichiers `envoie_pb2.py` et `envoie_pb2_grpc.py` sont alors générés et seront utilisés pour implémenter les fonctions de notre serveur pour qu’il puisse communiquer avec notre application.

III. SpyCheat : Application android

 

1. Objectif

L’application SpyCheat joue le rôle de client dans notre système de surveillance d’examens. Elle se découpe en 3 parties principales où la première sert à créer des réunions en donnant la liste des utilisateurs qui auront le droit d’y accéder. La seconde est utilisée pour lancer une réunion quand l’application est posée sur la main. Et pour finir, la troisième partie permet de participer à une réunion en ayant mis l’application sur la tête. Finalement, ces trois parties sont utilisées pour de détecter les tentatives de fraudes en s’assurant que uniquement les personnes inscrites peuvent se connecter à la réunion et en analysant des photos et les mouvements d’un candidat.

2. Prérequis

 

Pour y parvenir, l’application à été crée sur Android Studio. Elle est composée de plusieurs fichiers dont :

• `envoie.proto` : le même fichier que nous avons présenté dans la première partie et qui est stocké dans un répertoire nommé `proto` (lui même placé dans le répertoire `main`).
• `build.gradle` : un fichier qui permet d’utiliser le compilateur protobuf (gRPC) et d’ajouter la caméra (caméraX) à notre code. Pour cela, il faut ajouter les lignes suivantes :
  •  Dans le bloc des plugins : Voir code ici.
  • Dans le bloc android : Voir code ici.
  • Dans le bloc des dependences: Voir code ici.

• Pour finir, on ajoute à la fin du fichier ce nouveau bloc: Voir code ici.
• A cela s’ajoute un troisième et dernier fichier appelé `AndroidManifest.xml`. Il va servir à implémenter les permissions pour utiliser la caméra et la wifi : Voir code ici.

Une fois que c’est trois fichiers sont modifiés, il faut exécuter la commande `gradlew build` sur le terminal d’android studio pour que les fichiers contenant les fonctions gRPC soit générés.

3. Fonctionnement

Une fois que la liste des prérequis ait été respectée, nous pouvons nous intéresser aux fonctionnalités de l’application. En effet, cette dernière est composée de :

• une page MainActivity.kt : l’utilisateur doit d’abord donner son autorisation pour que l’application puisse utiliser la caméra. Ensuite, il saisit l’adresse IP du réseau ainsi que le port pour que l’application puisse faire appel à la méthode suivante : Voir code ici. Si la connexion a échouée un message rouge s’affichera sur l’écran sinon l’utilisateur sera redirigé vers la page suivante. 
• une page d’accueil (AcceuilActivity.kt) : l’utilisateur à le choix entre créer une réunion ou se connecter à une réunion.
• une page de création de réunion (InscriptionActivity.kt) : lorsque l’utilisateur arrive sur cette page, il doit remplir un formulaire en saisissant le nom d’une réunion et l’adresse mail d’un candidat. Pour valider l’inscription, il doit cliquer sur le bouton envoyer. La méthode suivante est alors exécutée pour que l’information soit envoyée au serveur : Voir code ici.
• une page de connexion (ConnexionActivity/kt) : le candidat doit saisir le nom de la réunion et son adresse mail. En cliquant sur le bouton valider, la méthode précédente est exécutée en précisant cette fois qu’il y a une tentative de connexion (tenteConnexion = true). Si le candidat n’est pas inscrit, un message d’erreur s’affichera sinon il sera redirigé vers la page suivante.
• une page OptionActivity.kt : le candidat a alors le choix entre deux options:
  • participer à la réunion en mode tête. Il sera alors redirigé vers la page de HeadActivity.kt et devra placer l’application sur sa tête. Lorsque la réunion débutera, la caméra se lancera ainsi que l’accéléromètre et leur données seront envoyées toutes les 2 secondes au serveur (toujours grâce à la méthode précédente).
  • participer à la réunion en mode main. Il sera donc redirigé vers la page HandActivity.kt et devra placer l’application sur sa main. Cette fois-ci c’est l’accéléromètre et le chronomètre qui sont lancé lorsque la réunion débutera.

IV. Serveur : code python

 

1. Objectifs

 

Placé sur un ordinateur portable, le serveur python se découpe en plusieurs parties. La première consiste à gérer les inscriptions et les connexions des utilisateurs. La seconde partie intervient lorsqu’une réunion a débuté en analysant les données (photos et accéléromètre) envoyées par l’application. Et pour finir, une troisième partie dédiée à l’enregistrement vocal.

2. Prérequis

 

Pour lancer le serveur, il faut installer et importer un certain nombre de paquets : 

• Pour gRPC il faut importer : Voir code ici.
• Pour convertir en `.jpg` une image envoyée par l’application sous forme de chaîne de caractères : Voir code ici.
• Pour écrire et lire des fichiers CSV : Voir code ici.
• Pour analyser les coordonnées de l’accéléromètre : Voir code ici.
• Pour l’enregistrement vocal il faut installer et importer : Voir code ici.
• Pour la reconnaissance de personne et d’objets sur les photos envoyé par l’application : Voir code ici.

3. Fonctionnement

 

Une fois que la liste des prérequis ait été respecté, nous pouvons nous intéresser aux fonctionnalités du serveur. En effet, ce dernier est composé d’une fonction `server()` qui attend que des clients (maximum 10) se connectent sur son réseau. Dans ce cas là, il exécute la classe `Greeter()` à chaque fois que le client (application) lui envoie des données: Voir code ici.

Les données subissent alors une série de traitement que nous allons énumérer. Mais pour mieux comprendre les phases de traitement, nous allons nous baser sur des scénarios : 

• “Je suis un utilisateur et je souhaiterai créer des réunions“. L’utilisateur est allé sur l’application SpyCheat et c’est dirigé vers la page des inscriptions. Lorsqu’il clique sur le bouton “envoyer” après avoir saisit le nom d’une réunion et l’adresse mail d’un candidat, le serveur va :
  • Si le fichier ‘ReunionEtCandidats.csv’ (stocke les réunions qui ont été créés) **n’existe pas**, le serveur le crée et écrit sur une ligne le nom de la réunion avec l’adresse mail du candidat inscrit à cette dernière
  • Si le fichier existe alors le serveur commence par vérifier si le candidat a déjà ou non été inscrit dans le fichier avec la fonction `def verifCandidat(reunion, mail)`. Dans le cas échéant, il est ajouté au fichier grâce à la fonction `def ajoutCandidat(reunion, mail)` sinon l’inscription est ignorée.
• “Je suis un candidat et je souhaiterai me connecter à une réunion“. Le candidat est allé sur l’application SpyCheat et c’est dirigé vers la page de connexion. Lorsqu’il a cliqué sur le bouton “valider” après avoir saisit le nom de sa réunion et son adresse mail, le serveur va :
  • Si les identifiants ne sont pas inscrits dans le fichier ‘ReunionEtCandidats.csv’ alors il envoie un message à l’application pour lui dire que le candidat ne peut pas se connecter à la réunion. Celle-ci reçoit l’information grâce à ces lignes de code : Voir code ici.
  • Si les identifiants sont inscrits dans le fichier ‘ReunionEtCandidats.csv’ alors il envoie un message à l’application pour lui dire que le candidat a le droit de se connecter. Dans ce cas, il sera redirigé vers une page qui lui demandera de choisir entre l’option tête et l’option main.
• “Je suis un candidat est je souhaiterai participer à la réunion en mode tête (respectivement en mode main)“. Dans ce cas, le serveur se doit de vérifier si le candidat a déjà participé à cette réunion ET avec ce mode. Pour ce faire, le serveur reçoit un message en provenance de l’application l’informant que ce candidat veut participer à cette réunion. Il parcourt alors un fichier appelé ‘InventaireTeteReunionEtCandidats.csv’ (respectivement ‘InventaireMainReunionEtCandidats.csv’) grâce à la fonction `def encours_ou_termine(fileName, reunion, mail, colonne, statut)` : s’il y est marqué que le candidat a déjà terminé la réunion, alors il envoie un message à l’application pour donner son désaccord. En revanche, si rien n’est indiqué dans le fichier, alors le serveur donne son accord à l’application et le candidat sera redirigé vers la page de réunion en mode tête. Notons que l’application reçoit la réponse du serveur grâce à ces lignes de code : Voir code ici.
•  “Je suis un candidat et je participe à la réunion en mode main“. Lorsque le candidat clique sur le bouton “commencer“, plusieurs évènements entrent en jeu :
  • Premièrement, le serveur écrit dans le fichier ‘InventaireTeteReunionEtCandidats.csv’ que la réunion est en cours grâce à la fonction `def inventaire(fileName, reunion, mail, colonne, etatReu)`. Ce même fichier est mis à jour lorsque le candiat quitte la réunion en écrivant “terminé”.
  • Deuxièmement, il lance l’enregistrement vocal grâce à la fonction `def record()`. Cette dernière lance un enregistrement toutes les 5 secondes et les concatènent au fur et à mesure pour ne former qu’un seul audio. Notons que l’enregistrement se termine lorsque le candidat a quitté la réunion.
  • Troisièmement, il traite les valeurs de l’accéléromètre grâce à la fonction `def calibrage(x, y ,z ,nb_ite)`. Cette dernière commence par faire une moyenne des 5 premières coordonnées envoyées par l’application. Ainsi si les nouveaux coordonnées s’éloigne de la moyenne (à partir d’un certains seuil), le serveur est en mesure de déterminer s’il y a eu un mouvement droite, gauche, haut ou bas de la tête.
  • Quatrièmement, il traite les images envoyées par l’application. Pour ce faire, grâce à la fonction `def base64_to_image (img_data)` la chaine de caractère est d’abord converti en image `.jpg`. Puis, un algorithme est alors appliqué à cette image de façon a reconnaître les objets et les personnes présent sur la photo et les écrits dans le fichier `Objects_Detection.csv`.
• “Je suis un candidat et je participe à la réunion en mode main“. Lorsque le candidat clique sur le bouton “commencer“, seules les valeurs de l’accéléromètre sont envoyées au serveur. Mais par manque de temps, ces dernières ne sont pas traitées.

V. Reconnaissance Faciale : script python

 

1. Objectif

 

Le but était d’implémenter une solution de reconnaissance faciale au niveau de la webcam de l’ordinateur. Cette dernière devait être capable de reconnaître la personne qui passait l’examen et d’enregistrer en cas de suspicion de fraude.

2. Prérequis

 

Il faut installer toutes les librairies suivantes dans votre environnement python pour permettre à l’utilisateur de lancer les scripts : Voir code ici.

3. Fonctionnement

Une fois que nous avons les prérequis nécessaire nous pouvons lancer le script python pour nous prendre en photo avant l’examen : Voir code ici.

Il faudra ensuite écrire votre nom puis appuyer sur entrée pour que la photo soit prise et enregistrée dans le dossier known_faces. Ensuite, nous pouvons d’ores et déjà lancer la commande qui va nous permettre de lancer la webcam de l’ordinateur pour faire l’examen. La commande est la suivante : Voir code ici.

Des informations sont communiquées sur le terminal pour voir l’avancé du chargement. Un message sera affiché pour pouvoir entrer le nom de la personne qui passera l’examen.

Voici les différents scénarios que nous avons traité :

• Si la personne n’entre pas le bon nom, elle se verra être enregistrée puis on stockera la personne que nous verrons dans un fichier qui se nommera comme le nom qu’elle a entré pour se connecter.
• Si la personne entre le bon nom puis au cours de l’examen se lève pour aller ailleurs, un enregistrement sera pris (dans le dossier recording) et pourra servir de preuve. De plus sur le fichier csv (dans le dossier Students puis dans le dossier de l’élève en question ) généré à son nom il y aura un intervalle de temps où la personne ne saura pas notée (nom de la personne et la date(jour,heure,seconde)).
• Si la personne entre le bon nom puis au cours de l’examen un autre élève entre dans le champs de vision de la webcam, un enregistrement sera pris (dans le dossier recording) et pourra servir de preuve. De plus sur le fichier csv (Attendance.csv) généré il y aura écrit soit le nom de la seconde personne si l’algorithme le reconnait soit comme étant un inconnu (nom de la personne et la date(jour,heure,seconde)).

Image	Name	Part Number	Price	Count	Link
	Asus Zenbook duo - 16Go de RAM - SSD 1 To	1	1599,99€	1	🛒
	Samsung S20	1	799€	1	🛒