Dans le domaine de l’intelligence artificielle, la qualité et la diversité des données jouent un rôle fondamental dans la performance des modèles d’apprentissage automatique. Cependant, les défis liés à l’annotation de données, tels que le label skew et la pénurie de données (data scarcity), compliquent souvent ce processus.
Commençons par quelques définitions : le label skew se manifeste par une distribution déséquilibrée des étiquettes dans un jeu de données, ce qui peut nuire à l’entraînement des modèles et fausser les résultats. La pénurie de données, quant à elle, limite la capacité d’un modèle à généraliser efficacement.
💡 Ces deux obstacles constituent un double défi majeur pour les praticiens de l’IA, qui cherchent à créer des systèmes robustes et fiables. Dans cet article, et comme à notre habitude, on vous propose quelques éclairages pour mieux appréhender ces concepts !
Qu'est-ce que le label skew et pourquoi pose-t-il un problème dans l'annotation de données ?
Le label skew fait référence à un déséquilibre dans la distribution des étiquettes (labels) au sein d’un jeu de données annoté. Cela signifie que certaines catégories ou classes sont surreprésentées par rapport à d’autres, ce qui peut fausser l’apprentissage des modèles d’intelligence artificielle (IA).
Par exemple, dans un jeu de données de classification d’images, si la majorité des images appartiennent à une seule catégorie (comme des chiens) et que les autres catégories (comme des chats ou des oiseaux) sont très peu représentées, le modèle entraînera un biais en faveur de la classe dominante.
Ce problème devient particulièrement significatif dans l’annotation de données, car les modèles d’IA dépendent de la qualité et de la diversité des données pour bien généraliser. En cas de label skew, le modèle risque de surapprendre les caractéristiques de la classe surreprésentée, entraînant une mauvaise performance sur les classes moins fréquentes. Cela peut être problématique pour des applications critiques où l’équilibre entre les classes est essentiel (comme la détection de maladies rares en santé ou la classification d’anomalies en sécurité). De plus, le label skew peut être particulièrement problématique pour certains cas d'usage spécifiques, tels que ceux impliquant des données écologiques ou des diagnostics médicaux, où des mesures précises sont indispensables.
💡 Le label skew rend le travail de traitement et d'annotation de données plus complexe, car il exige des ajustements pour rééquilibrer les classes ou utiliser des techniques spéciales (telles que le sur-échantillonnage ou le sous-échantillonnage) afin d’atténuer l’impact d'un déséquilibre sur la performance du modèle.
Quelles sont les causes courantes du label skew dans les jeux de données ?
Les causes courantes du label skew dans les jeux de données sont souvent liées à la nature des données collectées et aux biais inhérents à leur source. Voici quelques-unes des principales causes :
Déséquilibre naturel dans les données
Certaines classes ou catégories sont naturellement plus fréquentes que d'autres dans le monde réel. Par exemple, dans des tâches de détection de fraudes ou de maladies, les cas frauduleux ou les maladies rares représentent souvent une petite proportion des données disponibles, ce qui crée un déséquilibre.
Biais de collecte des données
La méthode de collecte peut entraîner un label skew si certaines classes sont plus faciles à collecter ou sont collectées de manière disproportionnée. Par exemple, un jeu de données d’images prises en milieu urbain pourrait surreprésenter des véhicules ou des personnes et sous-représenter des animaux sauvages ou des scènes naturelles. De même, certains articles comme le pantalon dans les données de mode peuvent être surreprésentés en raison de méthodes de collecte spécifiques.
Limitation des ressources d'annotation
Dans certaines situations, les annotations manuelles, qui nécessitent des experts ou beaucoup de temps, peuvent ne pas couvrir toutes les catégories de manière équitable. Cela peut mener à un label skew si certaines classes sont plus coûteuses à annoter (faute de données disponibles, ou parce que l'annotation de certaines formes complexes demande plus de temps).
Filtrage des données
Lors du processus de nettoyage ou de filtrage des données, il est possible que certaines classes soient éliminées ou réduites en nombre de manière disproportionnée, créant ainsi un déséquilibre.
Saisonnalité ou temporalité
Dans certains types de données, comme celles issues du commerce électronique ou des réseaux sociaux, certaines classes peuvent être influencées par des événements saisonniers ou temporaires. Par exemple, pendant une période de soldes, une catégorie de produits spécifique pourrait être surreprésentée par rapport aux autres.
Biais sociaux ou culturels
Les biais introduits par les utilisateurs ou les annotateurs eux-mêmes peuvent aussi causer un label skew. Par exemple, dans des tâches de reconnaissance d'images, les objets ou personnes appartenant à certaines cultures ou groupes ethniques peuvent être sous-représentés dans les données.
Ces causes de label skew soulignent la complexité de la collecte et de l'annotation de données pour l'IA, où un déséquilibre non pris en compte peut fortement affecter les performances et la généralisation des modèles.
-hand-innv.png)
Comment le Data Scarcity ou "rareté de données" exacerbe le problème du label skew ?
La rareté de données (ou data scarcity) exacerbe les contraintes liées au label skew en limitant encore davantage la quantité et la diversité des données disponibles pour l'entraînement des modèles d'intelligence artificielle. Voici comment ces deux problèmes s'aggravent mutuellement :
Sous-représentation des classes minoritaires
Les classes moins fréquentes deviennent encore plus rares, rendant le programme d'apprentissage des modèles difficile.
Surapprentissage des classes dominantes
Le modèle se spécialise dans les classes surreprésentées, négligeant les minoritaires, ce qui augmente les biais.
Incapacité à généraliser et équilibrer
Le manque de données limite la capacité du modèle à généraliser correctement, surtout pour les classes sous-représentées.
Biais accru dans les prédictions
La combinaison de rareté de données et label skew renforce les biais, notamment dans les domaines critiques comme la détection de fraudes ou de maladies.
Comment surmonter la rareté de données lors de l'annotation pour l'IA ?
Surmonter la rareté de données lors de l'annotation pour l'IA nécessite une combinaison de stratégies visant à augmenter la quantité de données disponibles ou à maximiser l'efficacité des données existantes. Voici quelques-unes des approches les plus couramment utilisées pour gérer la rareté de données dans ce contexte :
Génération de données synthétiques
Une méthode courante consiste à générer des données artificielles à partir des données existantes. Les données synthétiques peuvent être créées en utilisant des techniques comme les GANs (Generative Adversarial Networks) ou en augmentant les données (data augmentation), par exemple en appliquant des transformations (rotation, zoom, flou) aux images ou en introduisant du bruit dans des séries temporelles. Cela permet de créer davantage d'exemples, tout en préservant la diversité et l'équilibre du jeu de données.
Réutilisation de jeux de données existants pour d’autres produits d’IA (transfert de connaissances)
Le transfert de connaissances consiste à utiliser un modèle préentraîné sur un autre jeu de données similaire et à l'ajuster (fine-tuning) sur la petite quantité de données disponibles. Cette méthode permet de tirer parti de grands jeux de données existants pour compenser la rareté de données dans une nouvelle tâche.
Annotation semi-supervisée
Dans le cadre d'une approche semi-supervisée, une petite partie des données est annotée manuellement, tandis que les autres données non annotées sont utilisées pour entraîner un modèle à générer des prédictions sur ces données non étiquetées. Ce modèle est ensuite raffiné au fur et à mesure, combinant les données annotées et non annotées pour enrichir le jeu de données.
Utilisation de données de substitution (surrogate data)
Lorsque les données directes sont rares, il est parfois possible d'utiliser des données indirectement liées ou substitutives. Par exemple, dans le domaine de la santé, si les données sur une maladie rare sont insuffisantes, il peut être utile d'entraîner un modèle sur des maladies similaires, puis d'adapter les résultats pour la maladie cible.
Crowdsourcing pour l'annotation
Le crowdsourcing permet de rassembler un grand nombre de contributions humaines pour annoter rapidement des jeux de données. Bien que cela nécessite des vérifications de qualité (car toutes les annotations ne sont pas égales), cette approche peut aider à surmonter la rareté de données en augmentant le volume d'annotations, en particulier pour des tâches simples ou visuelles. Attention toutefois à bien prendre connaissance des conditions de travail des contributeurs travaillant sur vos jeux de données : vous pourriez avoir des (mauvaises) surprises !
Techniques de suréchantillonnage et sous-échantillonnage
Pour pallier le data scarcity dans certaines classes, des techniques de suréchantillonnage peuvent être utilisées, où les exemples rares sont dupliqués ou générés synthétiquement afin d’équilibrer le jeu de données. À l'inverse, le sous-échantillonnage des classes surreprésentées peut également réduire le déséquilibre, mais cette approche réduit parfois la quantité globale de données disponibles.
Apprentissage par renforcement avec des simulateurs
Dans des environnements où il est difficile de collecter des données réelles, des simulateurs peuvent être utilisés pour entraîner des modèles dans des contextes virtuels, réduisant ainsi la dépendance aux données du monde réel. Cette méthode est courante dans les domaines comme la robotique ou les jeux vidéo.
Utilisation d'ensembles d'apprentissage actif
Cette pratique consiste à entraîner un modèle sur une petite quantité de données, puis à demander des annotations supplémentaires uniquement pour les exemples où le modèle est le moins confiant. Cela permet d'optimiser le processus d'annotation et de maximiser l'efficacité des ressources disponibles tout en réduisant la rareté de données.
🚀 Externalisation vers des experts
Dans le cadre de la constitution de jeux de données pour l'IA, il est souvent nécessaire de demander service à des experts humains pour annoter des données complexes ou rares. Cette méthode peut garantir des annotations de haute qualité grâce à la mise en place de workflows efficients permettant de créer et gérer des jeux de données restreints et spécialisés.
🪄 En combinant plusieurs de ces solutions, il est possible de surmonter le Data Scarcity et de créer des jeux de données annotés plus riches et équilibrés, ce qui améliore la robustesse et la performance des modèles d'intelligence artificielle.
Conclusion
Le label skew et la rareté de données représentent des défis significatifs dans l'annotation de données pour l'intelligence artificielle. Le déséquilibre des étiquettes, combiné à la quantité limitée de données, peut nuire à la performance des modèles d'IA, entraînant des biais et une capacité réduite à généraliser.
Cependant, grâce à une variété de stratégies, telles que l'utilisation de données synthétiques, le transfert de connaissances, l'apprentissage semi-supervisé, ou l'accès aux services d'experts humains, il est possible de surmonter ces obstacles.
Ces approches permettent de maximiser l'efficacité des données disponibles et de rééquilibrer les jeux de données pour garantir des modèles plus robustes et performants. Dans un domaine où la qualité des données est primordiale, une gestion proactive de ces défis est essentielle pour développer des systèmes d'IA fiables et efficaces !
