Des projets innovants au service de la musique
'
Liste des projets
Projet précédent : 
Smart orchestra
De la baguette connectée à l'orchestre 2.0
Genèse du projet
Ce projet est né suite à une répétition d'orchestre compliquée due à l'absence de musiciens. Il m'est venu l'idée que des instruments virtuels pourraient compenser l'absence de certains musiciens, particulièrement ceux sur lesquels se repèrent les autres. Mais comment synchroniser des instruments virtuels lors des répétitions ?
Le plus simple est de partir du chef d'orchestre qui guide les musiciens. En développant une baguette connectée capable de détecter ses mouvements, il serait possible de retranscrire et d'interpréter ces informations.
Concernant la sonorisation, il est souhaitable d'émettre le son au milieu des musiciens pour qu'ils retrouvent l'environnement sonore auquel ils sont habitués. L'idée est de positionner des bots (robots musiciens) à l'emplacement de chacun des absents, chaque bot jouant alors une voix spécifique.
Solution
- Une baguette connectée récupère et interprète les mouvements du chef d'orchestre,
- Un ordinateur récupère les partitions disponibles en ligne sur Adimuse puis les diffuse aux autres appareils,
- Des bots (robots musiciens) éparpillés dans la pièce jouent les voix qui leur sont attribuées,
- Le chef d'orchestre contrôle le système via une tablette :
Choix de la partition à jouer, attribution des voix aux bots, mesure de départ, … - Une box assure les échanges entre tous les appareils,
- Cerise sur le gâteau, les musiciens disposent d'une application web permettant d'afficher leur partition et de la synchroniser sur les mouvements du chef d'orchestre. Plus besoin de tourner les pages ni de compter les mesures.
La solution mise en place repose sur un réseau d'appareils interconnectés :
Vue d'ensemble
- L'Adibox est le centre du système. C'est elle qui assure les échanges et la synchronisation entre tous les éléments du système.
- Le PC partitions récupère les partitions sur Adimuse. Il les transcode dans des formats adaptés à chaque type d'appareil et les distribue aux bots, à la baguette connectée, à la tablette chef d'orchestre et aux tablette partition.
- La connexion internet donne un accès internet au PC partitions qui peut alors télécharger les partitions sur Adimuse.
- Adimuse est l'éditeur de partitions en ligne d'où proviennent les partitions utilisée ici.
Image interactive. Déplacez la souris et cliquez sur les éléments pour figer la fenêtre d'explication.
Afficher plus d'info...
Masquer détail...
Les composants de l'orchestre connecté
Le chef d'orchestre
Le chef d'orchestre bat la mesure comme à son habitude.
Ses mouvements sont captés par la baguette connectée pour synchroniser les bots et les tablettes partitions
La tablette chef d'orchestre lui permet de paramétrer les bots, de sélectionner le morceau à jouer et de saisir la mesure de départ.
Le témoin lumineux, positionnée dans son champ de vision, l'informe de l'état du système.
La baguette connectée
La baguette connectée capte et interprète les mouvements du chef d'orchestre.
Les données extraites permettent de synchroniser les bots et les tablettes partitions.
Ses caractéristiques physiques (taille, poids) sont proches de celles d'une baguette classique pour ne pas changer les habitudes du chef d'orchestre.
La tablette chef d'orchestre
La tablette chef d'orchestre permet à ce dernier de changer de morceau et d'indiquer la mesure de départ.
Le chef d'orchestre peut également y contrôler chacun des bots (voix attribuées, volume sonore, …).
En cas d'anomalie elle permet également de retrouver une information détaillée de l'état des composants du système.
En fin de morceau le chef d'orchestre peut obtenir une évaluation de sa performance, très utile dans le cadre d'un apprentissage.
Le témoin lumineux
A l'image de la lampe rouge "On Air" dans les studios d'enregistrements, ce témoin informe le chef d'orchestre de l'état du système : Au repos, prêt à démarrer, morceau en cours.
En cas d'erreur système (Problème de connexion internet, perturbations wifi trop importantes, ...) l'ampoule clignote. Le chef d'orchestre peut alors consulter le détail de l'erreur sur sa tablette ou sur le PC Partitions.
Le positionnement au loin de l'ampoule permet au chef d'orchestre d'accéder à l'information à tout instant, et sans avoir à focaliser son regard trop précisément sur sa tablette.
Les musiciens
Les musiciens jouent comme à leur habitude en suivant les mouvements du chef d'orchestre.
Ils peuvent troquer leurs partitions papier, pour une tablette (appelée ici tablette partition). Plus besoin de tourner les pages ni de compter les mesures, les partitions défilent toutes seules suivant l'avancée du morceau et un curseur indiqué précisément la note à jouer.
Lorsqu'un musicien est absent à une répétition, un bot peut jouer sa partition afin que les autres musiciens conservent leurs repères.
La tablette partition
La tablette partition permet au musicien de disposer de sa partition avec un défilement automatique suivant l'avancée du morceau. Plus besoin de tourner les pages, ni de compter les mesures !
Le musicien peut profiter de toutes les facilités de lecture d'une partition offertes par Adimuse (Choix des voix à afficher, altérations de précaution, affichage proportionnel au temps, mode page/mode linéaire, affichage des doigtés non maitrisés, …).
Les Bots
Les bots comblent les manques liés aux musiciens absents.
Lorsqu'un musicien est absent à une répétition, un bot peut jouer sa partition afin que les autres musiciens conservent leurs repères.
Les bots peuvent être répartis aux emplacements des musiciens dont ils jouent les partitions, afin de limiter encore plus les perturbations dues à l'absence de ces derniers.
Les bots fonctionnent en autonomie. Une fois démarrés, ils obéissent au chef d'orchestre via la tablette chef d'orchestre pour les choix de la partition et la position de départ, et via la baguette connectée pour suivre les mouvements du chef d'orchestre (démarrage, rythme et arrêt).
Le système
D'autres éléments interviennent dans le processus. Bien qu'étant moins visibles aux yeux des utilisateurs, ils n'en demeurent pas moins indispensables :
Adibox
L'Adibox est le centre du système. C'est elle qui assure la synchronisation et les échanges entre tous les éléments techniques.
L'Adibox fonctionne en toute autonomie. Branchez-la, et connectez-vous sur le réseau WIFI qu'elle crée.
Le PC partitions
Le PC partitions récupère les partitions sur Adimuse. Il les transcode dans des formats adaptés à chaque type d'appareil et les distribue aux bots, à la baguette connectée, à la tablette chef d'orchestre et aux tablette partition.
En début de séance, le chef d'orchestre précharge les partitions qui seront joué. Le PC partitions doit rester allumé, et fonctionne en autonomie pour le reste de la séance.
Accès internet
L'accès internet donne un accès internet au PC partitions qui peut alors télécharger les partitions sur Adimuse.
L'accès internet peut être une box opérateur ou un partage de connexion.
Adimuse
Adimuse est l'éditeur de partition en ligne d'où proviennent les partitions utilisées ici.
L'utilisateur peut écrire ses propres partitions ou choisir une partition parmi celles publiées par la communauté Adimuse.
Plus d'informations sur www.adimuse.com.
Avancement
- Détection et interconnexion automatique des différents composants du système,
- Baguette auto-adaptative : actuellement, la baguette se base sur des paramètres pré-enregistrés, propres à chaque chef d’orchestre, pour optimiser la captation des mouvements. L'idée est que la baguette soit en mesure d'auto adapter ces paramètres en fonction de l'utilisateur.
Un prototype est fonctionnel, des travaux sont en cours pour accroître la simplicité d’utilisation :
Ouvertures
Intégration des malvoyants
Les signaux interprétés par la baguette peuvent être retransmis aux malvoyants via un dispositif haptique.
Cette évolution permettrait d'ouvrir les portes de l'orchestre aux personnes mal-voyantes. La baguette connectée peut alors être utilisée sans les bots.
Formation des chefs d'orchestre
Avec un tel dispositif l'apprenti chef d'orchestre peut s’exercer en toute autonomie tout en bénéficiant d’un rendu sonore intéressant.
L’outil peut également évaluer sa prestation et mettre en lumière certains points d’améliorations.
Porteur du projet
Corentin KerampranEtudiant en Génie Informatique à l'UTC. Passionné de musique, j’aime mettre mes connaissances techniques au service de ma passion.
