Bothoven: zelflerende pianohand kan nieuwe melodie 'op gehoor' naspelen

Twee minuten motorische speelfase

De Musician Hand begint niet vanuit bladmuziek of een voorgeprogrammeerde partituur, maar met wat de onderzoekers “motor babbling” noemen: twee minuten willekeurig spelen op een toetsenbord; een motorische speelfase die doet denken aan hoe een kind een instrument ontdekt. In die korte tijd legt het systeem vast welke bewegingen welke klanken opleveren en bouwt zo zijn eigen interne kaart van het klavier.

Daarna krijgt de hand een onbekende melodie van ongeveer dertig noten te horen. Op basis van die ene luisterbeurt én de eerdere speelfase speelt de robothand de melodie in één keer foutloos na, zonder correcties en zonder data‑intensieve trainingstrajecten.

Een hand die denkt als een muzikant

Technisch gezien bestaat de Musician Hand uit vier met pezen aangedreven vingers, aangestuurd door kleine elektrische motoren die de werking van menselijke spieren en pezen benaderen. Die ‘kunstmatige pezen’ geven de hand een soepele, bijna menselijke vingerbeweging over de toetsen.

De cruciale schakel zit echter in de software: neurale netwerken analyseren het geluid van de gehoorde melodie en zetten dat om in concrete vingercommando’s. Waar traditionele robotpianisten vaak een MIDI‑score volgen, vertrekt deze hand vanuit pure audio – zoals een mens die een melodie hoort en probeert na te spelen.

Mens of machine? Jury hoorde soms het verschil niet

Om te testen hoe muzikaal de robothand werkelijk is, lieten de USC‑onderzoekers de Musician Hand “auditie” doen. Twee muzikale juryleden luisterden geblindeerd naar uitvoeringen van vier menselijke pianisten én de robothand. Bij sommige fragmenten konden ze niet met zekerheid zeggen of ze een mens of een machine hoorden. Die uitkomst is voor de onderzoekers minstens zo belangrijk als het technische kunstje: het wijst erop dat het systeem niet alleen de juiste toetsen raakt, maar ook voldoende muzikaliteit en frasering laat horen om binnen een blinde test serieus als pianist te worden meegenomen.

Van speelklavier tot zorgrobot

De onderzoekers plaatsen de Musician Hand expliciet in een breder onderzoeksveld dat zij perceptual robotics noemen. In plaats van robots te bouwen die steunen op perfecte informatie, nauwkeurig gescripte omgevingen en enorme trainingssets, richten zij zich op systemen die net als mensen en dieren, met beperkte, vaak imperfecte informatie toch tot vloeiende bewegingen komen.

Door motor babbling, proberen en bijsturen, leert de robothand het verband tussen wat zij hoort en wat zij doet. Die aanpak, zeggen de onderzoekers, kan later verder reiken dan de piano: denk aan exoskeletten die een Parkinson‑patiënt helpen diens persoonlijke manier van lopen en reiken terug te winnen, of revalidatierobots die de stijl van een fysiotherapeut leren om patiënten thuis door oefeningen te begeleiden.