La face cachée des hashtags.
À voir aussi sur Konbini
© Creative Commons
En matière de reconnaissance d’images, Facebook peut compter sur un atout de taille que beaucoup de sociétés et de chercheurs utilisant des programmes d’intelligence artificielle n’ont pas : Instagram et sa gigantesque base de données constituée de plusieurs milliards d’images publiques.
Dans les faits, chaque photo postée sur le réseau, racheté par la firme de Mark Zuckerberg en 2012, est utilisée pour entraîner le système de reconnaissance de Facebook, notamment par le biais des mots-clefs associés aux images. Plus de 17 000 hashtags recensés à ce jour permettent ainsi à ce programme d’apprendre à identifier des couchers de soleil, des chats ou des cupcakes, entre autres contenus phares du réseau, comme l’explique Facebook :
“Puisque nos utilisateurs légendent souvent leurs photos avec des hashtags, nous avons pensé qu’elles seraient une source idéale d’apprentissage des données pour nos programmes. Cela nous permet aussi d’utiliser les hashtags pour ce à quoi ils sont destinés : rendre les images plus accessibles, en se basant sur ce que les internautes pensent être pertinent pour d’autres.”
Une source précieuse pour Facebook donc, à l’heure où d’autres équipes de recherches sont encore contraintes d’étiqueter manuellement les images, un processus particulièrement long et coûteux – merci les instagrameurs, en somme.
Vers de nouveaux usages
Ce système de reconnaissance a plusieurs utilités pour Facebook, de la génération automatique de légendes et de mots-clefs pour améliorer l’expérience utilisateur des déficients visuels à la modération des contenus sans avoir recours aux signalements des internautes, en passant par le repérage automatique des contenus non autorisés par les règles d’utilisation du réseau – ce qui permet en amont de faciliter considérablement le travail des 20 000 modérateurs de la plateforme.
Autant d’usages rendus possibles grâce à la précision à laquelle est parvenu son système en s’entraînant ces dernières années sur les milliards d’images d’Instagram disponibles. Au banc d’essai établi par ImageNet, une base de données d’images annotées à destination des travaux de recherche en vision par ordinateur, le système de Facebook a atteint le score de 85,4 % d’exactitude, quand les autres techniques de pointe dans le domaine n’ont atteint que 83,1 %.
Fort de ces performances, le réseau social envisage dans un futur proche de se servir des améliorations de son programme d’intelligence artificielle pour mieux appréhender les enregistrements vidéo, pour changer l’ordre dans lequel les images apparaissent dans les fils d’actualité, et pour enregistrer une image non seulement dans une catégorie générale, mais dans une sous-catégorie spécifique.
