Complex data, machine learning and representations

Our research team focus on the problems raised by large-scale data management, with a strong orientation towards data whose structure, explicit or not, is complex and requires specific techniques of approximation, extraction and search. The type of data we are dealing with include images, videos, audio or musical documents, satellite imagery and data from multi-spectral sensors. We investigate techniques of statistical machine learning (with a specific focus on deep learning) to extract information, build efficient access techniques and propose new methods of data management based directly on content (as opposed to metadata describing this content). At the moment there are two research axis/directions in our team, described below.

Axis 1. Large image and video databases
We live today in a context characterized by an explosive growth in the production of digital content, doubled by a revolution in digital storage making it possible to keep and easily access large quantities of digital data, beyond the timeline for which it has been initially collected. On the other hand, the rapid development of digital transmission technologies makes possible the distributed distribution and remote sharing of large volumes of such a digital contents. We focus on the structuring, from visual content, of large image and video databases, as well as the search by content in such databases. Our recent work focus on deep learning for the detection of visual patterns and for semantic segmentation of images, the goal being the semantic analysis of scenes taking into account structural and global-local relationships between image components. These approaches also apply very well to data of a different nature, such as musical data, which combine structures at different scales and are generally characterized by a relatively small number of structural items labeled by class.

Axis 2. Music computing and music information retrieval
This axis of research aims to investigate the production of models of musical languages, characterizing homogeneous corpora of music available in symbolic form (scores). Our perspective is to enrich a statistical approach based on explicit data (notes) by a knowledge extraction process identifying the elements of musical language implicitly present in the notation: segmentation in phrases, presence and use of patterns, management of dissonances, cadences, instrumentation and texture. Another direction of research is the development of automatic transcription techniques, conversion of a musical performance to a score in traditional notation by a priori score models (independent of the performance to be transcribed), representing the language of possible musical notations. These techniques can be seen as language models, and are essential components of machine translation or pattern recognition procedures for music data (by analogy with natural language processing).



Articles de revue

  1. Castillo-Navarro, J.; Le Saux, B.; Boulch, A.; Audebert, N. and Lefèvre, S. Semi-Supervised Semantic Segmentation in Earth Observation: The MiniFrance suite, dataset analysis and multi-task network study. In Machine Learning, 2021. doi  www 
  1. Petit, O.; Thome, N. and Soler, L. Iterative Confidence Relabeling with Deep ConvNets for Organ Segmentation with Partial Labels. In Computerized Medical Imaging and Graphics: 101938, 2021. doi  www 
  1. Foscarin, F.; Rigaux, P. and Thion, V. Data Quality Assessment in Digital Score Libraries. The GioQoso Project. In International Journal on Digital Libraries, 2021. doi  www 
  1. Corbière, C.; Thome, N.; Saporta, A.; Vu, T-H.; Cord, M. and Perez, P. Confidence Estimation via Auxiliary Models. In IEEE Transactions on Pattern Analysis and Machine Intelligence: 1-1, 2021. doi  www 

Articles de conférence

  1. Foscarin, F.; Audebert, N. and Fournier-S'niehotta, R. PKSpell: Data-Driven Pitch Spelling and Key Signature Estimation. In International Society for Music Information Retrieval Conference (ISMIR), Online, India, 2021. www 
  1. Dang, C.; Randrianarivo, H.; Fournier-S'niehotta, R. and Audebert, N. Web Image Context Extraction with Graph Neural Networks and Sentence Embeddings on the DOM tree. In GEM: Graph Embedding and Mining - ECML/PKDD Workshops, Bilbao, Spain, 2021. www 
  1. Ramzi, E.; Thome, N.; rambour, c.; Audebert, N. and Bitot, X. Robust and Decomposable Average Precision for Image Retrieval. In Thirty-fifth Conference on Neural Information Processing Systems (NeurIPS 2021), Sydney, Australia, 2021. www 
  1. Le Guen, V.; Yin, Y.; Dona, J.; Ayed, I.; de Bézenac, E.; Thome, N. and Gallinari, P. Augmenting physical models with deep networks for complex dynamics forecasting. In Ninth International Conference on Learning Representations ICLR 2021, Vienne (virtual), Austria, 2021. www 
  1. Corbière, C.; Lafon, M.; Thome, N.; Cord, M. and Pérez, P. Beyond First-Order Uncertainty Estimation with Evidential Models for Open-World Recognition. In ICML 2021 Workshop on Uncertainty and Robustness in Deep Learning, Virtual, Austria, 2021. www 


Articles de revue

  1. Dupuis, D.; Du Mouza, C.; Travers, N. and Chareyron, G. Real-Time Influence Maximization in a RTB Setting. In Data Science and Engineering, 5 (3): 224-239, 2020. doi  www 
  1. Rosmorduc, S. Automated~Transliteration~of Late Egyptian Using Neural Networks: An Experiment in ``Deep Learning''. In Lingua Aegyptia - Journal of Egyptian Language Studies, 28: 233-257, 2020. doi  www 
  1. Besedin, A.; Blanchart, P.; Crucianu, M. and Ferecatu, M. Deep online classification using pseudo-generative models. In Computer Vision and Image Understanding, 201: 103048, 2020. doi  www 
  1. rambour, c.; Audebert, N.; Koeniguer, E.; Le Saux, B.; Crucianu, M. and Datcu, M. Flood detection in time series of optical and sar images. In International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLIII-B2-2020: 1343-1346, 2020. doi  www 

Articles de conférence

  1. Le Cacheux, Y.; Le Borgne, H. and Crucianu, M. Using Sentences as Semantic Representations in Large Scale Zero-Shot Learning. In ECCV 2020 workshop Transferring and adapting source knowledge in computer vision (TASK-CV), Glasgow, United Kingdom, 2020. www 
  1. Mali, J.; Atigui, F.; Azough, A. and Travers, N. ModelDrivenGuide: An Approach for Implementing NoSQL Schemas. In International Conference, DEXA 2020, pages 141-151, Springer, Bratislava, Slovakia, DEXA 2020: Database and Expert Systems Applications , 2020. doi  www 
  1. Le Guen, V. and Thome, N. Probabilistic Time Series Forecasting with Structured Shape and Temporal Diversity. In NeurIPS 2020, Vancouver, Canada, 2020. www 
  1. Le Guen, V. and Thome, N. A Deep Physical Model for Solar Irradiance Forecasting with Fisheye Images. In CVPR OmniCV worshop 2020, Seattle, United States, 2020. doi  www 
  1. Le Guen, V. and Thome, N. Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction. In Computer Vision and Pattern Recognition 2020 (CVPR), Seattle, United States, 2020. doi  www 
  1. Dubucq, D.; Audebert, N.; Achard, V.; Alakian, A.; Fabre, S.; Credoz, A.; Deliot, P. and Le Saux, B. A real-world hyperspectral image processing workflow for vegetatotion stress and hydrocarbon indirect detection. In XXIV ISPRS Congress, Nice, France, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences XLIII-B3-2020, 2020. doi  www 
  1. Rolland, J-F. c.; Castel, F.; Haugommard, A.; Aubrun, M.; Yao, W.; Dumitru, C. O.; Datcu, M.; Bylicki, M.; Tran, B-H.; Aussenac-Gilles, N.; Comparot, C. and Trojahn dos Santos, C. CANDELA: A Cloud Platform for Copernicus Earth Observation Data Analytics. In IEEE International Geoscience & Remote Sensing Symposium - IGARSS 2020, IEEE, Waikoloa, Hawaii, United States, 2020. www 
  1. Foscarin, F.; Mcleod, A.; Rigaux, P.; Jacquemard, F. and Sakai, M. ASAP: a dataset of aligned scores and performances for piano transcription. In ISMIR 2020 - 21st International Society for Music Information Retrieval, Montreal / Virtual, Canada, 2020. www 


Articles de revue

  1. Viard, T. and Fournier-S'niehotta, R. Augmenting content-based rating prediction with link stream features. In Computer Networks, 150: 127-133, 2019. doi  www 
  1. Lajaunie, C.; Renard, D.; Quentin, A.; Le Guen, V. and Caffari, Y. A non-homogeneous model for kriging dosimetric data. In Mathematical Geosciences, 52 (7): 847-863, 2019. doi  www 

Articles de conférence

  1. Viard, T. and Fournier-S'niehotta, R. Encoding temporal and structural information in machine learning models for recommendation. In LEG @ ECML-PKDD 2019, W"urzburg, Germany, 2019. www 
  1. Dupuis, D.; Du Mouza, C.; Travers, N. and Chareyron, G. RTIM: a Real-Time Influence Maximization Strategy. In Web Information Systems Engineering -- WISE 2019, Hong-Kong, China, 2019. doi  www 
  1. Grossetti, Q.; Du Mouza, C. and Travers, N. Community-based Recommendations on Twitter: Avoiding The Filter Bubble. In Web Information Systems Engineering -- WISE 2019, Hong-Kong, China, 2019. doi  www 
  1. Rigaux, P. and Travers, N. Scalable Searching and Ranking for Melodic Pattern Queries. In Intl. Conf. of the International Society for Music Information Retrieval (ISMIR), Delft, Netherlands, 2019. www 
  1. Le Cacheux, Y.; Le Borgne, H. and Crucianu, M. Modeling Inter and Intra-Class Relations in the Triplet Loss for Zero-Shot Learning. In IEEE International Conference on Computer Vision, IEEE, Séoul, South Korea, 2019. doi  www 
  1. Foscarin, F.; Jacquemard, F.; Rigaux, P. and Sakai, M. A Parse-based Framework for Coupled Rhythm Quantization and Score Structuring. In MCM 2019 - Mathematics and Computation in Music, Springer, Madrid, Spain, Proceedings of the Seventh International Conference on Mathematics and Computation in Music (MCM 2019) Lecture Notes in Computer Science, 2019. doi  www 
  1. Foscarin, F.; Fournier-S'niehotta, R. and Jacquemard, F. A diff procedure for music score files. In 6th International Conference on Digital Libraries for Musicology (DLfM), pages 7, ACM, The Hague, Netherlands, 2019. www 
  1. Foscarin, F.; Jacquemard, F. and Rigaux, P. Modeling and Learning Rhythm Structure. In Sound and Music Computing Conference (SMC), Malaga, Spain, 2019. www 


Articles de revue

  1. Raftopoulos, K.; Kollias, S.; Sourlas, D. and Ferecatu, M. On the Beneficial Effect of Noise in Vertex Localization. In International Journal of Computer Vision, 126 (1): 111-139, 2018. doi  www 
  1. Fournier-S'niehotta, R.; Rigaux, P. and Travers, N. Modeling Music as Synchronized Time Series: Application to Music Score Collections. In Information Systems, 73: 35-49, 2018. doi  www 

Articles de conférence

  1. Petit, O.; Thome, N.; Charnoz, A.; Hostettler, A. and Soler, L. Handling Missing Annotations for Semantic Segmentation with Deep ConvNets. In MICCAI workshop DLMIA, Grenade, Spain, 2018. doi  www 
  1. Grossetti, Q.; Constantin, C.; Du Mouza, C. and Travers, N. An Homophily-based Approach for Fast Post Recommendation in Microblogging Systems. In 21st International Conference on Extending Database Technology (EDBT 2018), pages 229-240, Vienne, Austria, 2018. doi  www 
  1. Besedin, A.; Blanchart, P.; Crucianu, M. and Ferecatu, M. Deep Online Storage-Free Learning on Unordered Image Streams. In ECML PKDD: Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pages 103-112, Dublin, Ireland, Communications in Computer and Information Science - ECML PKDD 2018 Workshops 967, 2018. doi  www 
  1. Foscarin, F.; Fiala, D.; Jacquemard, F.; Rigaux, P. and Thion, V. Gioqoso, an online Quality Assessment Tool for Music Notation. In 4th International Conference on Technologies for Music Notation and Representation (TENOR'18), Concordia University, Montreal, Canada, Proceedings of the International Conference on Technologies for Music Notation and Representation -- TENOR'18 , 2018. www 


Articles de conférence

  1. Cherfi, S. S-s.; Guillotel, C.; Hamdi, F. c.; Rigaux, P. and Travers, N. Ontology-Based Annotation of Music Scores. In Knowledge Capture Conference, pages 1-4, ACM Press, Austin, France, 2017. doi  www 
  1. Si-Said Cherfi, S.; Hamdi, F. c.; Rigaux, P.; Thion, V. and Travers, N. Formalizing quality rules on music notation. An ontology-based approach. In International Conference on Technologies for Music Notation and Representation - TENOR'17, Coruna, Spain, 2017. www 
  1. Rigaux, P. and Thion, V. Quality Awareness over Graph Pattern Queries. In Proceedings of the International Database Engineering & Applications Symposium (IDEAS), Bristol, United Kingdom, 2017. doi  www 
  1. Besedin, A.; Blanchart, P.; Crucianu, M. and Ferecatu, M. Evolutive deep models for online learning on data streams with no storage. In ECML/PKDD 2017 Workshop on Large-scale Learning from Data Streams in Evolving Environments, Skopje, Macedonia, 2017. www 



Softwares and patents


Ongoing projects

  • Full name: Coûts indirects de POLIFONIA: CI POLIFONIA - Funder: Commission européenne
  • Duration: January 2021 - April 2024
  • Description: Le projet Polifonia vise à créer un système de médiation pour l'ensemble des sources musicales en Europe. Il créera une base de connaissances décentralisée rassemblant le contexte historique et culturel, exprimée en différentes langues et couvrant tous les styles musicaux. L'objectif du projet est de promouvoir l'accès, la préservation, l'étude et l'exploitation de cet immense patrimoine.
  • Full name: POLIFONIA: POLIFONIA - Funder: Commission européenne
  • Duration: January 2021 - April 2024
  • Description: Polifonia met en œuvre un écosystème numérique pour le patrimoine musical européen : des objets musicaux ainsi que des connaissances pertinentes sur leur culture et le contexte historique, exprimés dans différentes langues et styles, et à travers les siècles. L'écosystème comprendra des méthodes, des outils, des lignes directrices, expériences et conceptions créatives, ouvertement partagées. L'objectif est de provoquer un changement de paradigme dans le patrimoine musical préservation, gestion, étude, interaction et exploitation. Dix pilotes, entre cloches historiques et orgue patrimoine, classement des la musique notée polyphonique, au rôle historique de la musique dans la vie des enfants, conduiront au développement de l'écosystème grâce à une validation de ses technologies. Le projet est conçu par un équipe interdisciplinaire de chercheurs et conservateurs passionnés : informaticiens, anthropologues et ethnomusicologues, historiens de la musique, linguistes, archivistes du patrimoine musical, catalogueurs et administrateurs, et professionnels de la création.
Collaboration EDF V. LE GUEN
  • Full name: Collaboration EDF V. LE GUEN: Collaboration EDF V. LE GUEN - Funder: EDF ELECTRICITE DE FRANCE
  • Duration: January 2019 - June 2022
  • Description:
XXII Aissa Wafa
  • Full name: XXII Apprentisage profond: XXII Aissa Wafa - Funder: Société XXII Group
  • Duration: June 2019 - September 2022
  • Description:
  • Full name: SWORD AHEAD: SWORD AHEAD - Funder: ANR
  • Duration: January 2021 - December 2023
  • Description:
  • Full name: ANR AHEAD SWORD: AHEAD SWORD - Funder: ANR
  • Duration: July 2020 - December 2026
  • Description:
  • Full name: ANR AHEAD couplé à la convention IRCAD: IRCAD AHEAD - Funder: ANR
  • Duration: October 2020 - September 2023
  • Description:
  • Full name: CEA AHEAD: CEA AHEAD - Funder: ANR
  • Duration: October 2020 - September 2023
  • Description:
  • Full name: VALEO Charles CORBIERE: VALEO Charles CORBIERE - Funder: VALEO Comfort and Driving Assisitance
  • Duration: January 2019 - February 2022
  • Description:
  • Duration: November 2018 - January 2022
  • Description:
  • Full name: ANR AHEAD couplé à la convention IRCAD: AHEAD IRCAD - Funder: ANR
  • Duration: July 2020 - December 2026
  • Description:
  • Duration: October 2018 - June 2022
  • Description:
  • Full name: ANR CollabScore: CollabScore - Funder: ANR
  • Duration: October 2020 - March 2024
  • Description:
  • Full name: ANR DIAMELEX: DIAMELEX - Funder: ANR
  • Duration: October 2020 - May 2025
  • Description:
Valeo Calem
  • Full name: Cifre Valeo Calem: Valeo Calem - Funder: VALEO Comfort and Driving Assisitance
  • Duration: September 2020 - August 2023
  • Description:

Past projects

    • Full name: Vertigo 2021
    • Duration: January 2020 - December 2021
    • Description:

    • Full name: Nouvelles méthodes informatiques pour les Humanités numériques
    • Duration: January 2021 - December 2021
    • Description: L’objectif de ce projet exploratoire est d’afficher ces travaux et compétences, actuellement dispersés, sous une étiquette “Humanités numériques”, et de mener un double travail de clarification interne et de communication externe pour identifier le potentiel de cette étiquette comme axe de recherche stable et pérenne. Comment caractériser les problématiques informatiques pertinentes pour participer à une recherche interdisciplinaire équilibrée en humanités numériques ? Le projet exploratoire se place dans une perspective de recherche informatique inspirée par des problématiques SHS. Il s’agit d’identifier ce qui, dans une démarche SHS, suscite une innovation méthodologique en informatique et mène à une recherche véritablement interdisciplinaire, encourageant une réflexion épistémologique croisée (par opposition à la simple mise au point d’outils). Quelles sont les méthodes de l’autre pour produire de la connaissance, comment mes propres méthodes peuvent-elles enrichir celles de l’autre et réciproquement.

    • Full name: Apprentissage par renforcement et diversité pour le jeu vidéo
    • Duration: January 2021 - December 2021
    • Description: L'apprentissage par renforcement (RL) a récemment abattu de nombreuses barrières en création d'intelligences artificielles (IA) pour le jeu vidéo. Il est désormais possible d'apprendre à des agents autonomes à jouer à des jeux de complexité variable, allant des classiques Atari (casse-briques, Space Invader) à des jeux de tir en environnement ouvert, en construisant des stratégies haut niveau y compris à partir de stimuli bas niveau (visuels, par exemple). Cependant, la recherche actuelle en RL se concentre sur l'optimalité, c'est-à-dire produire des agents maximisant leur score et jouant parfaitement. Cette approche n'est pas satisfaisante lorsque l'on cherche à utiliser ces agents virtuels comme adversaires d'un ou d'une joueuse. La curiosité est un des aspects les plus importants de la motivation du joueur. Pour être maintenue, il est nécessaire de le confronter à un défi qui se renouvelle par la narration, par l'environnement mais aussi par le comportement et les stratégies à adopter face à des adversaires variés. L'objectif de ce projet est de concevoir des algorithmes de RL produisant des agents aux stratégies diversifiés, même si celles-ci sont sous-optimales, afin de générer une expérience de jeu plus variée. Nous nous proposons d'une part de quantifier mathématiquement cette notion de diversité comportementale des agents virtuels et d'autre part d'intégrer cette diversité dans l'exploration de l'espace des comportements des algorithmes de RL.

    • Full name: IRCAD
    • Duration: April 2017 - October 2017
    • Description:

    • Full name: SWORD
    • Duration: May 2018 - December 2019
    • Description:

    • Duration: November 2017 - July 2019
    • Description:

    • Full name: ERGONOVA CALEM
    • Duration: October 2018 - August 2019
    • Description:

    • Full name: CEA LIST LE CACHEUX
    • Duration: October 2017 - September 2020
    • Description:

    • Full name: Convention d'accueil Blaise Pascal n°17/04
    • Duration: March 2018 - February 2020
    • Description:

    • Full name: Machine Learning to Explain Security Incidents
    • Duration: January 2021 - December 2021
    • Description: Collaboration des équipes ISID (Nadira Lammari, Nada Mimouni, Hammou Fadili), MSDMA (Nicolas Thome) and EE SD (Véronique Legrand) Il y a, de nos jours, une réelle prise de conscience que la sécurité n’est jamais acquise. Comme souligné par les professionnels de la cybersécurité, face à la complexité et la prolifération des attaques, une surveillance continue de la sécurité du Système d’Information (SI) est plus que jamais nécessaire. Cet objectif nécessite la mise en œuvre de plusieurs activités, y compris l’analyse des causes profondes des incidents de sécurité, connue sous l’acronyme anglais RCA (Root Cause Analysis). Dans le cadre de ce projet, nous souhaitons tirer profit de la capacité du « Machine Learning » (ML) à apprendre de masses de données et des capacités de raisonnement humain dans des contextes complexes afin de concevoir et mettre en œuvre une approche guidée qui aide, non seulement, à l’explication les incidents de sécurité mais qui apprend et transmet également les connaissances et les compétences métier. La transmission des connaissances en analyse de la sécurité fournira aux experts en sécurité des capacités défensives et offensives. La transmission des compétences en ML donnera aux experts en sécurité plus d’autonomie dans le choix l’orchestration et le calibrage des algorithmes.

    • Full name: GE HEALTHCARE THUY LE
    • Duration: November 2017 - October 2020
    • Description: