L'annotation vidéo est un pilier de la préparation des données nécessaires à l'entraînement des modèles d'intelligence artificielle. Dans des domaines comme la Computer Vision, ce processus peut rapidement devenir laborieux, notamment lorsqu'il s'agit de traiter des séquences vidéo longues avec de nombreux cadres (bounding box, points clés, polygones, etc.) à annoter manuellement. Dans cet article, on vous explique comment l'interpolation vidéo - une technique embarquée dans la plupart des outils d'annotation modernes - facilite le travail de préparation et d'annotation des données.
L'interpolation est une méthode d'automatisation partielle pour rendre les tâches d'annotation plus efficaces. En utilisant l'interpolation, seules quelques images clés nécessitent une annotation manuelle en guise de Ground Truth. L'algorithme de l'outil d'annotation se charge ensuite de propager les labels aux frames successives, ce qui accélère le processus tout en assurant la cohérence et la précision des annotations. C'est une méthode technique, qui ne rend pas le travail d'annotation de données obsolète : au contraire, cette méthode exige une rigueur et une expertise de la part des Data Labelers. En clair, en utilisant l'interpolation, vous professionnalisez vos workflows d'annotation de données !
La technique d'interpolation pour l'annotation vidéo est particulièrement bénéfique dans des secteurs comme la conduite autonome, la surveillance et la santé, où le besoin en données annotées est déterminant pour l'entraînement des modèles de Machine Learning. Dans ce guide, et comme à notre habitude, on vous explique les rudiments et tout ce qu'il faut savoir avant de vous lancer dans un projet de traitement de volumes importants de données vidéo.
Introduction : qu'est-ce que l'annotation vidéo en IA ?
L’annotation vidéo est un processus permettant de créer des datasets vidéo pour fournir des données de haute qualité pour entraîner les modèles d’apprentissage automatique. En ajoutant des annotations aux vidéos (ou étiquettes), les algorithmes d'intelligence artificielle peuvent mieux comprendre et interpréter les informations visuelles, ce qui est essentiel pour des applications variées allant de la reconnaissance d’objets à la détection de mouvements complexes. Les annotations vidéo jouent un rôle fondamental dans la création de bases de données (et métadonnées) précises et fiables, indispensables pour le développement de systèmes d’intelligence artificielle performants.
Définition de l’annotation vidéo
L’annotation vidéo est le processus d’ajout de labels à des vidéos pour fournir des informations supplémentaires sur les objets, les événements et les actions qui se produisent dans la vidéo. Ces annotations peuvent prendre diverses formes, telles que des boîtes englobantes, des polygones, des points clés ou même des segments de texte. Elles permettent de décrire précisément les éléments présents dans chaque frame, facilitant ainsi l’analyse et l’interprétation des données par les algorithmes d’apprentissage automatique. En annotant les vidéos, on crée des ensembles de données riches en informations, essentiels pour entraîner des modèles capables de réaliser des tâches complexes pour les algorithmes de Computer Vision, par exemple.
Importance de l’annotation vidéo dans l’apprentissage automatique
L’annotation vidéo est essentielle dans l’apprentissage automatique car elle permet de fournir des données de haute qualité pour entraîner les modèles d’apprentissage automatique. Par exemple, dans la conduite autonome, les annotations permettent aux véhicules de détecter et de réagir aux piétons, aux autres véhicules et aux panneaux de signalisation. Dans la surveillance, elles aident à identifier et à suivre des individus ou des objets d’intérêt.
-hand-innv.png)
Qu'est-ce que l'interpolation dans l'annotation vidéo ?
L'interpolation dans l'annotation vidéo est une technique utilisée pour accélérer le processus de marquage manuel des objets dans une séquence vidéo. Plutôt que d'annoter chaque image individuellement, l'interpolation permet aux annotateurs de marquer quelques images clés, et un algorithme se charge ensuite de propager ces annotations à travers les images successives.
Cette méthode repose sur le fait que les objets dans les vidéos se déplacent souvent de manière fluide entre les images successives. Ainsi, si un objet est correctement annoté dans une première image (image clé) et dans une image ultérieure, l'algorithme peut prédire sa position et sa forme dans les images situées entre ces deux points.
Cela réduit la charge de travail manuelle, en particulier pour des vidéos longues ou des objets qui évoluent lentement, tout en garantissant une certaine cohérence dans le suivi des objets.
Il existe différentes méthodes d'interpolation, comme l'interpolation linéaire, qui suit une trajectoire droite entre deux images clés, ou des méthodes plus avancées basées sur des modèles d'intelligence artificielle qui analysent les variations complexes dans les objets ou les scènes. Plus loin, dans cet article, on vous donne un aperçu de ces principales méthodes...
L'interpolation est particulièrement utile dans les secteurs qui nécessitent de grandes quantités de données annotées, tels que la conduite autonome, la surveillance vidéo, ou encore les projets de recherche en Computer Vision.
Bien que l'interpolation accélère le processus d'annotation, elle n'est pas exempte de limites. Les annotateurs doivent encore vérifier et ajuster les annotations pour s'assurer de la qualité des prédictions, notamment dans les cas où les objets changent de forme ou de trajectoire de manière imprévisible.
Ce qu'il faut retenir : définition de l’interpolation en annotation vidéo
L’interpolation est une technique utilisée dans l’annotation vidéo pour estimer les valeurs manquantes entre les frames d’une vidéo. Plutôt que d’annoter chaque frame individuellement, l’interpolation permet de créer des annotations pour les frames intermédiaires en se basant sur quelques images clés annotées manuellement. Cette méthode réduit considérablement le temps et les coûts associés à l’annotation vidéo, tout en maintenant une cohérence et une précision élevées. En utilisant l’interpolation, les annotateurs peuvent se concentrer sur les images clés, tandis que l’algorithme se charge de propager ces annotations aux frames intermédiaires, facilitant ainsi le processus d’annotation.
Comment l'interpolation facilite-t-elle l'annotation vidéo ?
L'interpolation facilite l'annotation vidéo en réduisant de manière significative le temps et l'effort nécessaires pour annoter manuellement chaque image d'une séquence vidéo. Voici les principales façons dont elle améliore le processus :
Réduction du travail manuel
Au lieu d'annoter chaque cadre d'une vidéo, les annotateurs peuvent se concentrer sur quelques images clés, appelées keyframes. L'interpolation utilise ces annotations pour prédire et propager les marquages aux cadres intermédiaires, ce qui élimine le besoin d'une annotation image par image. Cela permet de gagner un temps considérable, surtout pour les longues séquences vidéo. La méthode d'utilisation de l'interpolation mérite cela dit d'être clarifiée en amont, dès que vous élaborez votre stratégie et manuel d'annotation...
Suivi fluide des objets
L'interpolation permet de suivre automatiquement les objets entre les images clés, ce qui assure une continuité et une cohérence dans l'annotation. Les algorithmes peuvent suivre des objets en mouvement en tenant compte de leur trajectoire et des variations visuelles, même lorsque l'objet change légèrement de position ou de forme.
Amélioration de la productivité
En réduisant le nombre d'images à annoter manuellement, l'interpolation augmente considérablement la productivité des annotateurs. Cela est particulièrement avantageux dans les domaines nécessitant des annotations complexes, comme la conduite autonome, où les données vidéo sont massives et doivent être traitées rapidement pour former des modèles d'intelligence artificielle.
Flexibilité des algorithmes
Les outils d'annotation modernes intègrent des algorithmes d'interpolation avancés, capables de gérer différents types d'objets et de mouvements. Par exemple, l'interpolation peut être linéaire ou s'appuyer sur des modèles d'apprentissage automatique pour traiter des mouvements plus complexes ou non linéaires.
L'interpolation affecte-t-elle la précision des annotations ?
L’interpolation peut affecter la précision des annotations, bien que cela dépende de plusieurs facteurs. Voici quelques points à considérer :
Qualité des images clés
La précision des annotations interpolées dépend fortement de la qualité des images clés sélectionnées. Si les objets sont correctement annotés dans ces images, l'interpolation entre les images clés peut être assez précise.
Cependant, si les images clés sont mal sélectionnées ou annotées de manière approximative, l'interpolation risque de propager ces erreurs à travers les images intermédiaires, diminuant ainsi la qualité globale des annotations.
Complexité des mouvements
L'interpolation fonctionne bien pour les objets qui se déplacent de manière linéaire ou prévisible, mais elle peut être moins précise dans les cas où les objets changent soudainement de direction, de forme ou de vitesse.
Dans ces situations, l'algorithme d'interpolation peut avoir du mal à suivre les mouvements complexes, entraînant des annotations incorrectes qui nécessiteront des ajustements manuels.
Algorithmes d'interpolation utilisés
Les algorithmes plus basiques, comme l’interpolation linéaire, sont moins précis dans des scénarios où les mouvements des objets sont non linéaires ou irréguliers.
En revanche, les algorithmes d’interpolation basés sur l’intelligence artificielle peuvent mieux gérer ces variations en analysant les caractéristiques visuelles des objets, ce qui améliore la précision, même pour des mouvements complexes. De plus, la segmentation peut être utilisée pour diviser les images en segments plus petits, améliorant ainsi la précision des annotations.
Vérifications manuelles
Même avec une interpolation avancée, il est souvent nécessaire de vérifier manuellement les résultats et d'apporter des corrections dans certaines images. Cela est particulièrement vrai lorsque des objets interagissent, se chevauchent ou disparaissent temporairement dans la vidéo. Si ces vérifications ne sont pas faites, la précision peut en être affectée. Vous ne disposez pas de l'expertise pour réaliser des vérifications manuelles de vos données vidéos annotées ? N'hésitez pas à nous contacter !
Comment combiner interpolation et suivi d'objets pour améliorer les résultats ?
Pour combiner efficacement l'interpolation et le suivi d'objets afin d'améliorer les résultats en annotation vidéo, plusieurs stratégies peuvent être mises en œuvre :
Utiliser l'interpolation pour réduire la charge de travail initiale
L'interpolation peut être utilisée pour marquer automatiquement les cadres intermédiaires entre deux images clés. Cela permet d'éliminer le besoin d'annoter chaque image individuellement. L'avantage est que cela fournit une base solide de prédictions, que le suivi d'objets peut ensuite affiner.
En d'autres termes, l'interpolation crée un "squelette" de base d'annotations, sur lequel le suivi d'objets s'appuie pour ajuster les prédictions en fonction des mouvements complexes.
Appliquer le suivi d'objets pour les ajustements dynamiques
Le suivi d'objets, en particulier s'il est basé sur l'intelligence artificielle, permet d'ajuster automatiquement les annotations d'un objet au fur et à mesure de ses mouvements dans la vidéo. Les modèles de suivi analysent les caractéristiques visuelles de l'objet (comme les contours, les couleurs et les textures) et peuvent corriger les erreurs ou les anomalies laissées par l'interpolation.
Par exemple, si un objet change de forme ou d'orientation, le suivi d'objets détecte ces changements et adapte les annotations, tandis que l'interpolation seule pourrait manquer de précision dans ces cas.
Raffinement des images clés
Lorsque l'interpolation est combinée avec le suivi d'objets, il est possible de mieux choisir les images clés. L'algorithme de suivi d'objets permet de suggérer des cadres où des ajustements manuels sont nécessaires, par exemple dans les points où la trajectoire de l'objet devient imprévisible ou où l'objet interagit avec d'autres objets.
Cela permet de concentrer les efforts manuels uniquement sur les frames critiques, optimisant ainsi le temps passé sur la validation des annotations.
Utilisation conjointe pour corriger les erreurs de propagation
Une combinaison des deux méthodes aide à corriger les erreurs courantes dans l'interpolation, notamment lorsque des objets se chevauchent ou sortent temporairement du cadre.
Le suivi d'objets, grâce à sa capacité à "comprendre" les mouvements basés sur les caractéristiques visuelles, peut corriger ces erreurs et ainsi améliorer la précision des annotations sur l'ensemble de la vidéo.
Automatisation hybride
Dans des outils modernes comme V7 Labs et Labelbox, l’interpolation et le suivi d’objets peuvent être combinés dans un flux de travail hybride. L’interpolation sert à générer des annotations rapides dans les zones de mouvement linéaire ou régulier, tandis que le suivi d’objets s’occupe des zones plus complexes. Cela permet de traiter de grandes quantités de données vidéo tout en réduisant les besoins d’intervention manuelle.
Comment corriger les erreurs générées par l'interpolation automatique ?
Corriger les erreurs générées par l'interpolation automatique dans l'annotation vidéo est une étape essentielle pour garantir des annotations précises et de qualité. Voici plusieurs méthodes pour rectifier ces erreurs :
Identification des erreurs dans les images clés
Une première vérification consiste à inspecter les images clés utilisées pour l'interpolation. Si ces images clés sont mal annotées ou ne représentent pas correctement l'objet ou le mouvement, elles peuvent entraîner des erreurs dans les images intermédiaires.
Dans ce cas, il est nécessaire de réajuster manuellement les annotations dans ces images clés, ce qui permet à l'algorithme d'interpolation de recalculer les images intermédiaires de manière plus précise.
Ajouter des images clés supplémentaires
Si l'interpolation échoue à suivre précisément un objet, en particulier lorsqu'il y a des changements rapides ou complexes dans le mouvement ou la forme de l'objet, ajouter des images clés supplémentaires peut aider à améliorer la précision.
En ajoutant des points de référence plus fréquents, l'algorithme d'interpolation peut mieux capturer les détails du mouvement et réduire les erreurs générées entre les images clés existantes.
Utiliser des techniques de suivi d'objets
En complément de l’interpolation, l’utilisation de techniques de suivi d’objets (object tracking) peut aider à corriger les erreurs d’interpolation. Les algorithmes de suivi analysent les caractéristiques visuelles des objets (telles que les contours, les couleurs et les textures) et peuvent ajuster les annotations là où l’interpolation automatique a échoué.
Le suivi d’objets permet de corriger les annotations dans les cadres où les mouvements sont plus complexes ou irréguliers. De plus, les cuboïdes peuvent être utilisés pour annoter des objets dans des nuages de points 3D, améliorant ainsi la précision des annotations.
Vérification manuelle des cadres problématiques
Bien que l'interpolation accélère le processus, il est souvent nécessaire de procéder à une vérification manuelle des cadres pour identifier et corriger les erreurs. Cela implique de passer en revue les images interpolées et d'ajuster manuellement les annotations si l'objet n'a pas été correctement suivi ou si des anomalies apparaissent, notamment lors de changements brusques dans le mouvement de l'objet.
Utilisation d'algorithmes plus avancés
Si les erreurs persistent, il peut être utile de recourir à des algorithmes d'interpolation plus sophistiqués, basés sur l'intelligence artificielle. Ces algorithmes peuvent analyser de manière plus fine les caractéristiques des objets et mieux prédire leur comportement dans les cadres intermédiaires, ce qui réduit les erreurs d'annotation automatique.
💡 En combinant ces approches, les erreurs générées par l'interpolation automatique peuvent être corrigées efficacement, permettant d'obtenir des annotations plus précises et de meilleure qualité dans les projets d'annotation vidéo.
Comment choisir les images clés pour l'interpolation vidéo ?
Choisir les images clés pour l’interpolation vidéo est une étape essentielle pour garantir la précision et la qualité des annotations automatiques. Voici plusieurs facteurs à prendre en compte pour sélectionner les meilleures images clés :
- Changements significatifs dans la scène : Il est important de choisir des images clés là où il y a des changements visuels importants, tels que des modifications de la position, de la taille, ou de la forme d’un objet. Par exemple, lorsqu’un objet commence ou finit de se déplacer, ou lorsqu’il change de direction. Cela permet à l’interpolation de s’adapter aux variations majeures dans la séquence.
- Cadres représentant les extrêmes d’un mouvement : Lorsque vous suivez des objets en mouvement, sélectionnez des images clés qui représentent les positions extrêmes du mouvement. Cela permet à l’algorithme d’interpolation de créer une transition fluide entre ces points et de mieux capturer la trajectoire.
- Transitions complexes : Si l’objet change rapidement d’apparence (par exemple, en raison de l’angle de vue, des ombres ou des conditions de lumière), choisissez des images clés autour de ces transitions. Cela permettra de capturer plus précisément les variations dans la forme ou la couleur de l’objet.
- Points d’intersection ou de recouvrement : Si plusieurs objets interagissent ou se recouvrent dans la vidéo, il est judicieux de choisir des images clés avant et après ces interactions. Cela garantit que l’algorithme d’interpolation ne se trompe pas dans le suivi des objets.
- Espacement régulier des images clés : En général, il est recommandé de choisir des images clés de manière suffisamment espacée pour couvrir l’ensemble du mouvement d’un objet sans trop compter sur l’interpolation. Un espacement régulier réduit le risque d’erreurs importantes dans les prédictions entre deux cadres.
- Erreurs d’interpolation détectées : Après une première phase d’interpolation, les annotateurs peuvent remarquer des erreurs dans certaines parties de la séquence. Dans ces cas, il est utile de sélectionner des images clés supplémentaires pour corriger ces erreurs, en ajoutant manuellement des annotations dans les cadres problématiques.
💡 En combinant ces approches, il est possible de réduire le nombre d’images à annoter manuellement tout en maintenant une qualité élevée dans les annotations interpolées.
Quels types d'algorithmes d'interpolation sont utilisés dans l'annotation vidéo ?
Dans l'annotation vidéo, plusieurs types d'algorithmes d'interpolation sont utilisés pour automatiser la génération d'annotations entre les images clés. Voici une liste non exhaustive de ces algorithmes :
- Interpolation linéaire : Il s'agit de l'une des méthodes les plus simples et les plus utilisées. Elle consiste à tracer une ligne droite entre deux images clés et à ajuster la position des objets dans les images intermédiaires en fonction de cette trajectoire. Bien que cette approche soit efficace pour des mouvements simples ou en ligne droite, elle est moins performante pour des mouvements complexes ou irréguliers.
- Interpolation par spline : Contrairement à l'interpolation linéaire, l'interpolation par spline utilise des courbes pour générer des trajectoires plus douces entre les images clés. Cela permet de mieux suivre les objets ayant des mouvements complexes, irréguliers ou changeant de direction.
- Interpolation basée sur l'IA (modèles d'apprentissage profond) : Ces algorithmes utilisent des modèles d'intelligence artificielle pour prédire le mouvement et la forme des objets entre les images clés en fonction des annotations manuelles existantes. Ces modèles apprennent à partir des données et peuvent mieux gérer les mouvements non linéaires, les changements de forme ou de perspective, ainsi que les conditions d'éclairage changeantes.
- Interpolation par caractéristiques visuelles : Cette méthode utilise des algorithmes pour analyser les caractéristiques visuelles des objets, comme les contours ou les textures, et les suivre dans les images intermédiaires. Elle est particulièrement efficace lorsque les objets changent de forme ou sont partiellement masqués dans certaines images.
- Interpolation par morphing polygonal : Utilisée pour des annotations avec des polygones, cette méthode ajuste la forme des objets entre les images clés en fonction des modifications observées dans les points de contrôle du polygone. Cela est utile pour suivre des objets aux contours changeants ou de forme irrégulière, comme des personnes ou des animaux.
💡 Ces algorithmes sont choisis en fonction des spécificités des données à annoter (mouvement, type d'objet) et des besoins du projet d'annotation, notamment en termes de précision et de rapidité.
Quels outils open source permettent d'utiliser l'interpolation pour l'annotation vidéo ?
Plusieurs outils open source permettent d'utiliser l'interpolation pour l'annotation vidéo. Voici quelques exemples populaires :
CVAT (Computer Vision Annotation Tool)
CVAT est un outil open source largement utilisé pour l'annotation vidéo et image. Il intègre l'interpolation pour accélérer le processus d'annotation, en particulier pour les vidéos avec des objets en mouvement. L'outil permet aux annotateurs de marquer quelques images clés et d'utiliser l'interpolation pour suivre ces objets dans les cadres intermédiaires.
CVAT prend en charge l'annotation avec des boîtes englobantes, des polygones, des points clés et plus encore. Ci-dessous, un aperçu des fonctionnalités d'interpolation de polygones entre plusieurs frames, en utilisant CVAT (source : CVAT)
LabelImg
Bien qu'initialement conçu pour l'annotation d'images, LabelImg prend en charge des fonctionnalités avancées comme l'interpolation des annotations lorsque vous travaillez sur des séquences d'images extraites de vidéos. Cela permet aux utilisateurs d'annoter plus efficacement les objets en mouvement dans les vidéos.
Scalabel
Un autre outil open source qui offre une fonctionnalité d'interpolation pour l'annotation vidéo. Scalabel est conçu pour des projets de Computer Vision, et l'interpolation permet de réduire les efforts d'annotation manuelle en générant automatiquement des annotations pour les images intermédiaires entre deux images clés.
🪄 Ces outils open source sont particulièrement adaptés aux projets nécessitant de grandes quantités de données annotées, comme dans les domaines de la conduite autonome, de la surveillance et de la recherche médicale. Ils permettent d'accélérer le processus d'annotation tout en garantissant une bonne précision grâce à l'utilisation d'algorithmes d'interpolation sophistiqués.
Dans quels secteurs l'interpolation d'annotation vidéo est-elle la plus utilisée ?
L'interpolation dans l'annotation vidéo est utilisée dans plusieurs secteurs où l'analyse de grandes quantités de données vidéo est essentielle. Voici quelques-uns des secteurs où cette technique est la plus répandue :
Conduite autonome
Dans le développement de véhicules autonomes, il est nécessaire d'annoter des séquences vidéo massives pour entraîner des systèmes de vision par ordinateur capables de détecter et de suivre des objets tels que des piétons, des véhicules et des panneaux de signalisation. L'interpolation permet de traiter rapidement ces séquences et de réduire les coûts liés à l'annotation manuelle de chaque vidéo.
Surveillance et sécurité
Les systèmes de surveillance basés sur l'IA utilisent des caméras pour analyser les flux vidéo en temps réel. L'interpolation est particulièrement utile pour annoter des objets tels que des personnes ou des véhicules dans des séquences longues, notamment pour le suivi des mouvements dans des environnements complexes comme les centres commerciaux ou les aéroports.
Santé et recherche médicale
Dans le domaine de la santé, des vidéos sont souvent utilisées pour analyser des procédures médicales ou des examens tels que l'endoscopie ou les vidéos de chirurgies. L'interpolation permet de réduire le temps d'annotation nécessaire pour suivre les mouvements d'outils chirurgicaux ou pour marquer des anomalies visibles dans des vidéos médicales.
Drones et surveillance aérienne
Les drones capturent de vastes séquences vidéo, souvent sur de longues distances. L'interpolation est essentielle pour annoter les mouvements d'objets, tels que des véhicules ou des infrastructures, dans les vidéos de surveillance aérienne, par exemple pour surveiller le trafic ou analyser les zones sinistrées.
Industrie du commerce de détail
Les détaillants commencent à utiliser des caméras basées sur l'IA pour analyser le comportement des consommateurs en magasin. L'interpolation permet de suivre les mouvements des clients à travers différentes zones d'un magasin, facilitant ainsi des analyses précieuses pour optimiser l'agencement des rayons ou les stratégies de vente.
En conclusion
L'interpolation dans l'annotation vidéo est une méthode puissante pour réduire le temps et les efforts liés à l'annotation manuelle, tout en maintenant un bon niveau de précision. Qu'il s'agisse de l'interpolation linéaire pour des mouvements simples ou d'approches plus sophistiquées comme l'interpolation par spline et les techniques basées sur l'IA, ces méthodes permettent de générer automatiquement des annotations sur les images intermédiaires entre deux images clés pré-sélectionnées par des spécialistes des processus de labellisation de données. Associé à une expertise des processus d'annotation pour l'IA, l'interpolation vidéo facilite le travail des annotateurs et le rend surtout plus efficace et qualitatif.
Toutefois, la qualité des annotations générées à l'aide de techniques d'interpolation vidéo dépend de la précision des images clés choisies, et une vérification manuelle reste souvent nécessaire pour corriger les erreurs dans les mouvements complexes ou les changements d'apparence. Ainsi, en combinant des techniques d'interpolation avec des outils avancés de suivi d'objets et l'expertise d'équipes spécialisées, il est possible de maximiser la rapidité et la précision de l'annotation, tout en répondant aux exigences des projets complexes dans des secteurs tels que la conduite autonome, la surveillance, et la recherche médicale.
L'intégration de ces approches permet non seulement de gagner en productivité, mais aussi de produire des ensembles de données de haute qualité, essentiels pour l'entraînement des modèles d'intelligence artificielle !
