Serveur © IRCAM - CENTRE POMPIDOU 1996-2005.
Tous droits réservés pour tous pays. All rights reserved.

Instruments virtuels

Philippe Depalle, Stéphan Tassart et Marcelo M. Wanderley

Résonance n° 12, septembre 1997
Copyright © Ircam - Centre Georges-Pompidou 1997

Édito
En marge des instruments virtuels, deux question actuelles.
Réalité trop chère ? Dans le réel, les modèles virtuels ne sont pas à la portée de toutes les bourses. Le " retour vers le réel ", tant annoncé, n'est encore réservé qu'à quelques simulateurs de vol ou de conduite fort onéreux.
Pourtant, la recherche musicale propose, y compris pour des applications industrielles qui n'ont rien de musical, des solutions standards et économiques (contrôleurs Midi...). Elle introduit également la Conception assistée par ordinateur : on simule à présent le son d'un flacon, d'un grille-pain ou d'une automobile avant sa fabrication. Et le designer sonore y voit un nouvel eldorado.
Réalité trop lointaine ? On résiste difficilement aux charmes de la virtualité quand Internet nous permet de jouer de ces instruments à distance. Les symphonies pour un homme seul (avec sa souris) sont peut-être au bout de l'inforoute

Instruments virtuels, réalité virtuelle, cyber-concerts, autoroutes de l'information, studio-en-ligne, méta-instruments, hyperinstruments, simulation artificielle, morphing... L'époque est à la profusion de nouvelles terminologies, au sein d'un monde instrumental porté à ébullition. Par l'essor des technologies de l'information, par l'inventivité des musiciens et des chercheurs. Pour qui n'est pas homme de l'art, comment se repérer dans ce jargon ? Comment comprendre les motivations et les enjeux des instruments virtuels ? Trois chercheurs de l'Ircam proposent quelques éléments de réflexion, ainsi qu'une typologie des dispositifs pour s'orienter dans ce monde musical nouveau.

Les instruments virtuels sont des dispositifs musicaux qui ne visent plus seulement à produire un ensemble d'actions prédéfinies. Il s'agit plutôt d'accéder à des champs de possibles, certes infinis, mais néanmoins repérés et balisés. Par exemple : on ne construira plus un gong de cinquante centimètres de diamètre, mais on concevra un objet gong dont le diamètre pourra varier, jusqu'à atteindre (pourquoi pas ?) une longueur de trois kilomètres ; on ne construira plus un archet, mais on concevra une interaction de type corde frottée, qui pourra éventuellement agir sur notre gong géant.
Ainsi, ces instruments désolidarisent la relation de cause à effet inhérente au fonctionnement mécanique des dispositifs traditionnels. Déjà à l'oeuvre dans certains instruments comme l'orgue, cette fonction s'est largement répandue avec la transmission électrique, puis numérique, de l'information.

Nous partirons donc de la pratique instrumentale traditionnelle, que nous analyserons symboliquement selon deux dimensions : le contrôle gestuel, c'est-à-dire l'interaction physique entre le musicien et son instrument ; et le dispositif, c'est-à-dire le fonctionnement même de l'instrument qui produit le son.

La situation instrumentale traditionnelle

Le musicien effectue des gestes qui agissent sur tout ou partie de son instrument. Celui-ci se met alors à vibrer : une fraction de son énergie rayonne dans l'air, pour atteindre l'ouïe de l'auditeur. Il y a là une relation forte entre le geste - cause de la vibration - et le résultat sonore émis (l'instrumentiste peut parfois amplifier son geste pour mettre en scène, voire dramatiser les événements sonores).

Observons le schéma d'un violoniste et d'un claviériste dirigés par un chef d'orchestre. Le violoniste presse les cordes des doigts de sa main gauche et avec sa main droite frotte l'archet sur les cordes. La relation de cause à effet est évidente : le mouvement de l'archet entretient un son dont la hauteur est déterminée par la position des doigts. Mais le violoniste, entendant ce son, l'interprète pour éventuellement modifier son jeu. À cette première boucle de contrôle, il convient d'en ajouter une seconde, résultant de la réaction mécanique de l'instrument qui renvoie des forces sur la main droite, via l'archet, et sur les doigts, via les cordes (voire, dans certaines situations, sur l'épaule, via le corps du violon). Ce retour d'effort, ainsi que le nomme Claude Cadoz, est d'une grande importance : il participe à la finesse du jeu du musicien, qui s'adapte constamment à cette rétroaction.
Considérons maintenant notre second musicien. Il contrôle un dispositif de synthèse sonore au moyen d'un clavier, de potentiomètres et de pédales. Cet instrument est déjà virtuel, bien que d'usage commun. Il peut produire une grande diversité de sons tout en gardant le même type d'accès gestuel. Le retour sonore subsiste, mais le retour d'effort des touches du clavier et des potentiomètres n'a plus de rapport direct avec le son produit. L'interaction entre l'instrumentiste et l'instrument gagne en généralité mais perd de son évidence dans la relation de cause à effet.

L'orchestre

Quant au chef d'orchestre, nous pouvons le considérer comme un instrumentiste qui joue de l'orchestre, sorte de méta-instrument. Le contrôle gestuel (par le mouvement de la baguette et des mains) est cette fois plutôt optique que mécanique. Il produit un son qui arrive en retour au chef d'orchestre. Les composantes de l'orchestre sont souvent préprogrammées dans leurs grandes lignes (les musiciens de l'orchestre ont en effet mémorisé leurs partitions), mais la relation de cause à effet du geste, moins évidente, laisse ouverte la possibilité d'une interprétation par les dispositifs commandés.
Ainsi, nous pouvons considérer les instruments virtuels comme des systèmes qui, tout en respectant ce schéma symbolique d'interactions, renouvellent l'approche instrumentale en modifiant, voire en brisant la relation mécanique de cause à effet. Apparaissent dès lors des gestes de contrôle nouveaux, des types nouveaux d'interactions, ainsi que des extrapolations possibles à partir de fonctionnements simulés numériquement : la hauteur d'un son pourra être modifiée par le déplacement de l'instrumentiste dans la salle de concert ; une plaque vibrera sous par les frottements d'un archet ; la taille de la caisse de résonance d'une contrebasse sera modifiée pendant le jeu.

Contrôle gestuel

D'une manière générale, un instrument virtuel comprend un contrôleur gestuel qui convertit le geste de l'instrumentiste en signal électrique. Rappelons que, dans le cas des instruments traditionnels, contrôle gestuel et production sonore sont indissociables : dans l'exemple du violon, la corde est non seulement le lieu de contact physique entre l'instrumentiste et l'instrument mais aussi le siège de la vibration mécanique qui génère le son ; de même, la position d'un doigt participe à la fois au contrôle gestuel et aux caractéristiques du dispositif de production sonore.

Les contrôleurs sont conçus selon deux philosophies : l'une tendant à reproduire des interfaces traditionnelles ou à s'en inspirer, l'autre visant à créer des interfaces inédites. Le principal intérêt de la première démarche est qu'elle conserve le bénéfice d'un geste expert, forgé par la culture et l'histoire. C'est le cas des contrôleurs Midi reproduisant les interfaces du saxophone, de la guitare, du violon ou du piano : le même geste, appris et cultivé, peut ainsi contrôler des événements de natures très diverses. La seconde démarche ouvre au contraire l'accès à un univers gestuel inexploré, précisément en raison des contraintes mécaniques des instruments traditionnels. Or, pour imprimer ces nouveaux gestes aux instruments, il faut d'abord les capter. C'est pourquoi de nombreux instruments virtuels comprennent des capteurs de pression, de position, de rotation et de translation, avec ou sans contact physique. Citons le système Hands développé par l'institut Steim, à Amsterdam : grâce à divers capteurs placés dans les mains, Hands déclenche des événement sonores. De même, les systèmes de capture vidéo, tels le Big Eye, de Steim, ou l'Irisis, de Collectif et Cie, repèrent la position des objets au moyen d'une caméra et déclenchent des séquences qui ne sont pas nécessairement sonores (ils sont souvent utilisés avec des danseurs). Enfin, les gants de données, truffés de capteurs, peuvent traquer les moindres mouvements de la main et des doigts pour les convertir en signaux numériques. Lorsqu'ils sont suffisamment légers et flexibles, on peut même les récupérer dans le contexte d'un jeu traditionnel, voire les utiliser pour l'étude analytique des mouvements de l'instrumentiste.

Typologie

Qu'ils soient traditionnels ou non, on peut dresser une typologie des processus d'acquisition du geste selon leur nature. C'est donc le type de geste qui déterminera le type de contrôleur.

Les systèmes directs utilisent des capteurs pour acquérir les mouvements gestuels (généralement, plusieurs capteurs, de formes et d'origines différentes, sont nécessaires pour composer un système d'acquisition complet). Ce sont, par exemple, les contrôleurs Midi standards (claviers, contrôleur de souffle...), les méta-instruments de Serge de Laubier, les systèmes Hands et Big Eye, de Steim, le violon Midi de Suguru Goto, les gants de données...
Parmi ces différents systèmes directs, ceux qui nécessitent un contact physique entre l'instrumentiste et le contrôleur sont dits haptiques. C'est le cas de tous les instruments de musique conçus jusqu'à la fin du XIX^e siècle. Si les systèmes haptiques peuvent renvoyer explicitement une rétroaction mécanique, cette propriété, inhérente aux instruments traditionnels, est habituellement absente des contrôleurs gestuels. Le clavier modulaire développé à l'Acroe (Association pour la création et la recherche sur les outils d'expression) est l'exemple typique d'un contrôleur gestuel utilisant la rétroaction de force.
En l'absence de contact, le système est dit non haptique. C'est le cas de tous les systèmes optiques (tel Big Eye). Le theremin fut un des premiers instruments à entrer dans cette catégorie.
Les systèmes indirects, quant à eux, détectent certaines caractéristiques du geste par analyse et traitement du son issu de l'instrument. Un exemple désormais courant est la détection de hauteur utilisée pour asservir et synchroniser un système d'informatique musicale avec instrument traditionnel : le son, capté par un microphone, est traité par un ordinateur, le geste étant donc recherché à travers le son dont il est la cause. Peu de systèmes indirects fiables sont commercialisés, en raison de la difficulté à établir des algorithmes dissociant efficacement le son du geste. En revanche, l'information obtenue peut être plus pertinente que celle issue des systèmes directs, car le geste de l'instrumentiste est représenté dans sa globalité.
Enfin, les systèmes hybrides utilisent simultanément les capteurs et les analyses du son produit. C'est le cas des hyperinstruments de Tod Machover.

Signaux

Après avoir passé en revue les accès gestuels, attachons-nous maintenant aux dispositifs qui produisent le son ! Du fait du découplage du geste et de la production sonore proprement dite, les instruments virtuels puisent essentiellement leurs signaux dans des dispositifs d'échantillonnage, de transformation ou de synthèse des sons.

L'échantillonnage, utilisé dans certains systèmes comme Lisa, de Steim, consiste à restituer des événements sonores préalablement enregistrés.
La transformation, quant à elle, agit soit directement sur le phénomène sonore (tel est le cas des effets de postproduction : filtres, harmoniseurs, réverbérateurs, compresseurs et autres " distordeurs " qui peuvent être contrôlés en temps réel), soit sur une vibration mécanique qu'il s'agit de transformer en vibration acoustique (d'où toute une série d'instruments " électrifiés " ou " électriques ", de la guitare au violon en passant par le piano...). Un troisième type de transformation, active celle-ci, consisterait à modifier les propriétés mécaniques d'un instrument en lui insérant des actuateurs (l'inverse des capteurs) contrôlés par ordinateur (tel est l'objet des recherches menées actuellement au Laboratoire d'acoustique musicale de l'université de Paris VI).
La synthèse sonore la plus efficace (en temps de calcul) et la plus répandue est la synthèse par modèle de signaux. Contrairement à la synthèse par modèles physiques - qui consiste à simuler, modifier et extrapoler le fonctionnement d'un dispositif par des algorithmes informatiques -, la synthèse par modèle de signaux ne vise qu'à réaliser les propriétés perceptives des sons, sans se soucier de la façon dont ils sont produits. La plupart des synthétiseurs disponibles sur le marché reposent sur ce principe, qui se décline en différentes techniques.

La synthèse additive construit un son par superposition de sinusoïdes. Puissante, mais lourde en temps de calcul, elle est présente dans certains synthétiseurs commerciaux. Elle est utilisée dans le système Cast (développé au Cnmat à partir de recherches menées à l'Ircam) : un gant de données peut ici contrôler, par exemple, un chant balinais synthétisé en temps réel.
Très répandue dans le commerce sous des dénominations nombreuses et variables (synthèse par formes d'onde, analogique, soustractive, granulaire, formantique, par convolution, etc.), la synthèse source-filtre consiste à atténuer ou amplifier par des filtres certaines fréquences d'une source riche en harmoniques ou bruitée.
Également très répandue, peu coûteuse en temps de calcul, la modulation de fréquence (ou synthèse FM) est utilisée dans des dispositifs périphériques d'instruments virtuels tels que l'hypervioloncelle.

Modèles physiques

La synthèse par modèles physiques, quant à elle, cherche essentiellement à modéliser la cause physique de la production sonore. Une première démarche (typiquement celle du physicien) consiste à traduire, à partir des lois fondamentales de la mécanique et de l'acoustique, l'ensemble des interactions observées entre les différents constituants de l'instrument ; cette modélisation ne peut représenter qu'une vision simplifiée du système réel, ne prenant en compte, sous forme mathématique, que l'ensemble des phénomènes mécaniques dûment formalisés.
Une fois élaboré, le modèle doit être étudié et simulé numériquement, de manière à le valider. On vérifie, notamment par l'écoute, qu'il prend effectivement en compte les principales caractéristiques observées dans le système réel. Cette étape, très importante, permet de qualifier l'influence des différents paramètres mesurables sur des caractéristiques qui restent, quant à elles, difficilement quantifiables : modes de jeu de l'instrument (multiphoniques, chaotiques, non oscillants...) ou critères perceptifs (brillance du son, sensation de rugosité et autres données " psychoacoustiques "). Le dialogue du scientifique avec l'instrumentiste est ici essentiel.

Une fois le modèle suffisamment fidèle, il devient possible de l'extrapoler. Et d'écouter le son d'instruments à géométrie impossible, tels un gong de trois kilomètres de diamètre ou encore une clarinette qui se déforme tant en longueur qu'en largeur pendant le jeu...
Toutefois, cette démarche purement scientifique débouche sur des algorithmes de synthèse particulièrement lourds et coûteux en temps de calcul. Si ce type de modélisation convient donc rarement aux besoins du musicien, en particulier dans un contexte d'interaction en temps réel, il permet en revanche de décrire avec précision des phénomènes non linéaires et localisés que l'on trouve dans la plupart des mécanismes excitateurs des instruments.

Modules

Plutôt que de développer un modèle complet par instrument (ou par famille d'instruments), on peut chercher à rendre compte de leur diversité de manière modulaire. Ainsi, contrairement à l'approche précédente qui présentait les phénomènes dans leur globalité, ce seront ici des modules qui représenteront une et une seule propriété physique précise, si bien qu'un objet instrumental complexe se décrit par l'assemblage de plusieurs modules. Les règles d'assemblage des modules constituent dès lors un formalisme générique, formalisme dont la cohérence peut autoriser le développement d'algorithmes rapides et spécialisés, ouvrant la possibilité d'une utilisation en temps réel et d'une interaction avec l'instrumentiste.

Plusieurs formalismes (dans une large mesure incompatibles entre eux) ont déjà été proposés et développés. Citons le formalisme mécanique de Cordis-Anima (développé à l'Acroe), le formalisme modal de Modalys (développé à l'Ircam) ou encore le formalisme des guides d'onde. Dans Cordis-Anima, une corde sera ainsi décrite comme un assemblage de masses élémentaires reliées entre elles par des ressorts ; dans Modalys et dans le formalisme des guides d'onde, elle se trouve être un module élémentaire : respectivement, l'archétype du résonateur et celui d'une propagation sans perte.

Liens instrumentaux

Pour que notre description de l'instrument virtuel soit complète, il reste à expliciter le lien entre le contrôle gestuel et la production du son. Appelons lien instrumental (de l'anglais mapping) cette correspondance entre le geste et l'effet produit, c'est-à-dire la manière dont les signaux en provenance du contrôleur gestuel sont librement associés aux paramètres de l'algorithme de synthèse mis en oeuvre.
Une manière pratique d'associer geste et synthèse consiste, par exemple, à attribuer indépendamment, pour chaque variable de contrôle, un paramètre de synthèse donné. Pour un modèle physique contrôlé par clavier Midi, la molette de pitch-bend pourra ainsi être connectée au paramètre de longueur de tube. Ce type de correspondance biunivoque se conçoit très bien pour des esquisses ou pour des applications spécifiques (avec contrôle Midi) ; il est par ailleurs plus naturel dans le cadre des modèles physiques que dans celui des modèles de signaux.

Une association moins directe, mais potentiellement plus expressive, consiste à faire dépendre certains paramètres de synthèse d'une fonction d'un groupe de variables gestuelles. L'intérêt de cette démarche est qu'elle se rapproche de la situation instrumentale traditionnelle, dans laquelle un paramètre acoustique dépend rarement d'un unique contrôle gestuel. Elle s'adresse plutôt à des interprètes experts.

Retour de l'instrument[iste]

Notre boucle est donc bouclée. A partir de la désolidarisation du geste et du dispositif, nous avons assisté, non pas à la mort de l'instrument, mais bien, au contraire, à l'invention et à l'essor de nouveaux liens, constitutifs des instruments virtuels. Les instrumentistes - ils se retrouvent de nouveau au centre du débat - se réapproprient ainsi une maîtrise du sonore qui passe par des interfaces gestuelles inédites. Et la profusion des réalisations (nous n'avons fait que l'effleurer) est un signe de vitalité. Elle témoigne d'un intérêt certain de la part de la communauté musicale, à qui il revient bien sûr de valider les résultats.

Les hyperinstruments de Tod Machover

Les premiers hyperinstruments ont été conçus par le compositeur Tod Machover pour son opéra Valis. L'idée était de créer et contrôler des sons complexes avec un petit nombre d'instrumentistes, jouant des instruments traditionnels enrichis par des systèmes électroniques. À l'aide d'algorithmes ad hoc, des ordinateurs suivent le geste et les intentions des musiciens.

Dans le cas de l'hypervioloncelle, la position et la pression de l'archet, la position de la corde, la pression des doigts et l'angle du poignet sont recueillis par différents capteurs. De plus, la hauteur et la puissance des notes jouées sont estimées par une analyse numérique des signaux acoustiques. L'hyperinstrument profite ainsi de la virtuosité du jeu traditionnel pour prolonger l'instrument et décupler son expressivité.

Le méta-instrument de Serge de Laubier

Le méta-instrument est un contrôleur gestuel qui permet de mesurer la vitesse et la position de trente-deux variables continues. Ce système direct capte ainsi les mouvements de translation ou de rotation, les déplacements horizontaux et verticaux des bras, l'angle des poignets ainsi que la pression imprimée par les doigts. Ils sont transmis sous forme de signaux électriques à une interface Midi.

Si, à l'origine, il s'agissait de créer une interface homme-machine capable de manipuler plusieurs paramètres sonores dans un contexte de concert électroacoustique, les méta-instruments déploient désormais un éventail d'applications autant musicales qu'audiovisuelles.

Excitateurs acoustiques L'excitateur acoustique est la partie mécanique ou acoustique qui fournit de l'énergie vibratoire à l'instrument, énergie qui sera convertie in fine en signal acoustique. Ce sont très souvent des systèmes qualifiés de non linéaires, car ils transforment les fréquences des signaux auxquels ils sont soumis : ainsi, l'anche de clarinette transforme en vibration acoustique le souffle continu de l'instrumentiste. À des fins de modélisation, les systèmes d'excitation sont classés selon leur mode de fonctionnement. On distingue :

les excitations percussives (percussion, pincement) ;

les excitations entretenues, comprenant les systèmes d'anches (anche simple de clarinette, anche double de hautbois, anche lippale des lèvres du trompettiste, cordes vocales), les systèmes frottés (archet sur une corde) et les oscillations de jet d'air (flûte). À l'exception de l'anche double, le fonctionnement des systèmes excitateurs est relativement bien compris. Il existe, à différents stades de développement, des modèles physiques de synthèse pour chacun d'entre eux.

Modalys Modalys, programme développé à l'Ircam, est une sorte d'établi virtuel sur lequel se trouvent des objets (cordes, colonnes d'air, plaques métalliques, membranes, chevalets de violon et de violoncelle...) que l'on peut combiner pour créer des instruments. Des archets, des marteaux et des plectres servent à exciter l'instrument ainsi " assemblé ". Et l'on connecte tous ces éléments par collage, frottement, pincement, percussion ou poussée.
Modalys utilise une vision systémique des dispositifs : chaque objet simple est représenté sous la forme de l'ensemble de ses modes propres, c'est-à-dire l'ensemble de ses déformations et fréquences de vibrations privilégiées, déterminées par sa géométrie et ses propriétés mécaniques. Du point de vue perceptif, Modalys offre aux musiciens la capacité de contrôler un objet physique directement à partir de ses fréquences de résonance. L'accès au dispositif, coeur de l'expressivité musicale, est réalisé par l'utilisation d'interactions simples : modèles de percussion, de pincement, de frottement, etc. Puisque chaque objet est décrit par ses fréquences de résonance, il n'est pas impossible d'imaginer une mailloche de timbale interagissant sur le mode du pincement dans le corps d'une clarinette. Adapté pour représenter des phénomènes impulsionnels (corde pincée, plaque ou membrane frappées), Modalys ne fonctionne pas encore en temps réel, ce qui ne permet, pour l'instant aucune rétroaction avec l'instrumentiste.

Guides d'onde C'est au début des années quatre-vingt que Julius Orion Smith applique au domaine musical un formalisme très simple pour représenter la propagation sans perte d'ondes planes dans un tube acoustique. Ce formalisme mathématique, quoique simplificateur, permet de gérer facilement à la fois les problèmes acoustiques et les problèmes numériques (il est intimement lié à une certaine classe de filtres résonants dont les propriétés de stabilité et les caractéristiques fréquentielles sont très connues). De plus, il est très facile d'étendre l'environnement pour y inclure de nouveaux modèles de phénomènes acoustiques, absents du formalisme initial : par exemple, un filtre pour obtenir une coulisse (guide d'onde de longueur variable), ou bien un filtre couplant le corps d'un instrument au rayonnement extérieur, ou encore un système non linéaire complexe mais localisé pour le fonctionnement des lèvres d'un trompettiste.
Les modèles peuvent être couplés : pour obtenir l'oscillation résultant du couplage des trois cordes du registre aigu du piano, ou bien pour simuler artificiellement le couplage des trois principaux modes de propagation des cordes (deux modes transverses et un mode longitudinal)...
Les guides d'onde ont prouvé leur aptitude à modéliser les instruments à vent (en particulier dans des synthétiseurs commerciaux dits de " synthèse par modèle virtuel ") ainsi que les instruments à cordes pincées ou frappées. Cependant, comme ils ne se rapportent géométriquement qu'à une seule dimension, ils ne sont pas adaptés, d'un point de vue théorique, aux instruments à plaques (xylophones et métallophones) ou à membranes (timbales, cimbales, etc.).