Proposition INEDIT

INteractivité dans l’Écriture De l’Interaction et du Temps

Voir également : Vidéo du lancement INEDIT

L’objectif du projet INEDIT est de fonder scientifiquement l’interopérabilité des outils de création sonore et musicale, afin d’ouvrir la voie à de nouvelles dimensions créatives couplant écriture du temps et écriture de l’interaction.

Nos motivations reflètent les efforts internationaux en informatique musicale pour réconcilier la division actuelle entre les aspects « compositionnels » et « performatifs » des outils existants de création sonores. Cette division est apparente dans la catégorisation des outils en « composition assistée par ordinateur » et « temps réel ».

Pour le compositeur, les outils « orientés performance » (synthèse et traitements, mixage, post-production audio) se limitent souvent à des métaphores des sources de production et de traitement (notamment oscillateurs, filtres, modèles physiques). Cependant, ces métaphores doivent s’intégrer dans un langage symbolique comme celui de la partition afin de permettre une réelle écriture musicale et favoriser des modalités plus puissantes de représentation, de conceptualisation et de communication.

Inversement, les outils « orientés composition » peinent à prendre en compte une nouvelle problématique, celle de l’interaction : un dispositif sonore correspond de moins en moins à une œuvre fermée et spécifiée totalement à l’avance, mais doit de plus interagir en temps réel avec un environnement. C’est le cas par exemple pour les œuvres musicales interactives, les jeux vidéo, l’habillage sonore, les dispositifs et installations multimédia, etc.

Notre approche repose sur une vision langage : une œuvre interactive est vue comme un interprète au sens informatique qui doit articuler des flux temporels bas niveaux localement synchrones (le signal audio) dans un temps événementiel globalement asynchrone (les événements pertinents pour le processus de composition). Le calcul effectué consiste à répondre aux signaux et aux événements en provenance de l’environnement par des actions diverses coordonnées dans le temps. Cette coordination est spécifiée par un compositeur qui doit pouvoir exprimer et visualiser simplement des contraintes temporelles et des scénarios d’interactions complexes à travers différents outils dédiés.

Contrairement à la plupart des recherches dans le domaine fondées sur un formalisme de représentation temporelle spécifique, le projet INEDIT se distingue par son approche hybride : nous ne voulons pas réduire la diversité des approches possibles en développant un n-ième formalisme unifié et monolithique. Au contraire, INEDIT a pour objectif de permettre l’utilisation de différentes approches stylistiques grâce à la coopération de différents outils au sein d’un environnement supportant toutes les phases du workflow musical, de la composition à la performance. Nous nous appuyons donc sur des outils déjà développés par les partenaires et qui occupent une position de référence mondiale dans leur domaine respectif : OpenMusic et iscore pour la phase de composition, INScore pour la visualisation interactive de flux complexes, Antescofo pour l’articulation signal/événement et FAUST et LibAudioStream pour la gestion des flux audio synchrone. Rendre interopérables ces outils permet de mettre en place des workflows riches et originaux qui seraient impossibles avec une application intégrée et un formalisme unique forcément plus rigide.

Mais pour atteindre cet objectif, il faut développer de nouvelles technologies : ordonnanceur dédié, mécanismes de couplage coopératif, compilation au vol, ainsi que les visualisations innovantes et les interfaces tangibles à base de papier augmenté qui permettront de spécifier et de contrôler en temps réel les processus musicaux sous-jacents d’une manière naturelle pour le créateur et le concepteur. Un des challenges scientifiques posés par INEDIT est la formalisation des relations temporelles musicales et en particulier le développement d’une approche GALS (globally asynchronous, locally synchronous) permettant de concilier contraintes temporelles synchrones et asynchrone dans un contexte où il faut gérer plusieurs échelles temporelles hétérogènes, un défi majeur dans tout moteur multimédia.