Le projet de reconnaissance d’objets à la volée !
Prototypage du MIC “Verificator”
La petite histoire
Chez nous, au MIC, on trouve toute une série d’objets allant des Hololens aux Oculus Quest en passant par une maquette représentant la ville de Tournai. Tous méritant une brève présentation ainsi qu’une surveillance pour éviter toute perte.
C’est cette problématique que Verificator va tenter de résoudre par un système permettant de reconnaître des objets à la volée !
Introduction
Aujourd’hui, nous allons donc vous présenter Verificator et nous plonger dans les détails de sa création, en explorant les technologies sous-jacentes et son mode de fonctionnement.
Personnalisation de la reconnaissance d’objets
L’objectif central de Verificator était de créer un outil capable de reconnaître la présence d’objets en temps réel. Pour réaliser ce projet, un service s’est démarqué durant notre réflexion, celui d’azure : Custom Vision.
Custom Vision est un modèle personnalisé (custom model) comme son nom l’indique. C’est un modèle que l’on va pouvoir personnaliser avec nos propres données.
Le custom model est un modèle d’apprentissage qui est conçu pour répondre aux besoins spécifiques d’une personne ou d’une organisation. Nous avons donc dû rassembler des données (images, photos) de nos objets sous différents angles, capturant ainsi les caractéristiques uniques de chaque objet.
Entraînement du modèle
Le cœur de Verificator repose sur un modèle d’apprentissage supervisé de reconnaissance d’images, entraîné à l’aide des données collectées. La clé pour obtenir des résultats précis réside dans la qualité et la diversité des images d’entraînement.
Les objets à reconnaître nécessitent une multitude de points de vue pour garantir une reconnaissance fiable. Une fois notre modèle correctement entraîné, le reste du processus s’est avéré relativement simple.
Aspect technique
Notre projet de site web repose sur une application React qui interagit avec l’API Custom Vision. Cette interaction permet d’extraire les métadonnées à partir du flux vidéo, constitué de plusieurs photos capturées et envoyées à Custom Vision.
Le Verificator est en mesure de détecter la présence d’objets devant la caméra en utilisant les métadonnées renvoyées par l’API.
Le Verificator envoie un signal lorsqu’un tag correspondant aux objets désirés (préalablement mentionnés) sera présent dans les métadonnées fournies par l’API. Ce qui entraine l’affichage de vidéo et site web de l’objet (préalablement mentionnés).
Utilisation intuitive
L’utilisation de Verificator est à la fois intuitive et pratique. Tout commence avec un formulaire où vous pouvez saisir les endpoints et les clés du modèle Custom Vision que vous avez précédemment créé.
De même, vous pouvez spécifier les tags (objets) que vous souhaitez détecter. Une caractéristique du Verificator est la possibilité de rediriger vers des pages Internet ou des vidéos explicatives pour chaque objet détecté, offrant ainsi une expérience enrichissante.
Une application réactive
Le projet Verificator a été soigneusement conçu avec une interface utilisateur réactive, permettant une interaction fluide. Une fois les paramètres configurés dans le formulaire, ils sont automatiquement intégrés dans l’URL, éliminant ainsi la nécessité de remplir le formulaire à chaque utilisation.
De cette façon, tout ce que vous avez à faire est de sélectionner la caméra à utiliser et de présenter les objets devant elle.
Grâce à la puissance du modèle personnalisé de reconnaissance d’objets, Verificator détecte les objets et vous redirige automatiquement vers les ressources en ligne appropriées, correspondant aux tags associés.
La production
Actuellement en production Verificator apporte une touche d’explications à nos objets au MIC.
Article rédigé par Antoine Smet.
Vous souhaitez lire d’autres articles similaires ?
