Page d'accueil

News trends : widgets to explore news at scale

L'Union Européenne de Radio-Télévision a développé un service qui agrège et traduit les nouvelles des médias publics européens en temps réel. Plus de 2000 articles sont traités chaque jour et mis à disposition des journalistes. Pour permettre à ces derniers de mieux appréhender la masse importante de contenu, il faut offrir des moyens visuels pour explorer les thématiques les plus fréquentes, mesurer leurs évolutions et comprendre leurs répartitions par radiodiffuseur.

Pour ce faire, il a fallu exploiter les topics extraits automatiquement du contenu des articles lors de leurs publications. Différentes études ont dû être réalisées afin de comprendre comment les outils d'analyse de tendances existants sont constitués. Il était également très important de comprendre comment optimiser l'interprétation de données grâce à des interfaces de visualisation.

Une analyse des biais, présents dans les topics extraits, a également être réalisée afin de trouver des solutions permettant d'analyser une thématique au plus proche de la réalité. Une phase de pré-traitement des données existantes a été effectuée et un flux de calculs et d'ingestions en temps réel a été mis en place. Cela a rendu possible le calcul dynamique d'un score de pertinence des articles, à partir duquel les métriques nécessaires à l'outil sont calculées. Les thématiques analysées sont définies en sélectionnant un ou plusieurs topics dans des regroupements. Pour sélectionner ceux-ci, différents types de recherche (textuelle, par tendance et par similarité) ont été mis en place.

Le travail réalisé est complet et a été déployé en production. Il laisse tout de même la porte ouverte à de nombreuses améliorations et ajouts de fonctionnalités. De plus, les données calculées et mises à dispositions peuvent avoir d'autres usages très intéressants.