In this chapter, we describe a series of studies related to our research on using gestural sonic objects in music analysis. These include developing a method for annotating the qualities of gestural sonic objects on multimodal recordings; ranking which features in a multimodal dataset are good predictors of basic qualities of gestural sonic objects using the Random Forests algorithm; and a supervised learning method for automated spotting designed to assist human annotators. The subject of our analyses is a performance of Fragmente2, a choreomusical composition based on the Japanese composer Makoto Shinohara’s solo piece for tenor recorder Fragmente (1968). To obtain the dataset, we carried out a multimodal recording of a full performance of the piece and obtained synchronised audio, video, motion, and electromyogram (EMG) data describing the body movements of the performers. We then added annotations on gestural sonic objects through dedicated qualitative analysis sessions. The task of annotating gestural sonic objects on the recordings of this performance has led to a meticulous examination of related theoretical concepts to establish a method applicable beyond this case study. This process of gestural sonic object annotation—like other qualitative approaches involving manual labelling of data—has proven to be very time-consuming. This motivated the exploration of data-driven, automated approaches to assist expert annotators.

The exposition provides an insight into the collaborative process of creating and performing Fragmente2 (2021) a choreomusical work by musician Kerstin Frödin and choreographer-dancer Åsa Unander-Scharin based on the Japanese avant-garde composer Makoto Shinohara's solo piece for tenor recorder, Fragmente (1968). The exposition is an attempt to describe the methodology and creative process in this project, wherein music and dance intertwine in a non-hierarchical manner. The exposition follows the structure of the performance, which consists of a series of fragments, each of them analysed and descibed in terms of choreomusical interaction. We used Don Ihde's experimental phenomenology and perspective variation (1986) as an artistic method to analyse and explore different aspects of our choreomusical materials and interaction concepts. To address and elaborate the choreomusical elements, we used Maurice Merleau-Ponty's distinction between abstract and concrete movements (1945/2012), Pierre Schaeffer's musical objects (1966/2017), and our own concept of choreographic objects. Furthermore, to jointly analyse and evaluate different interaction concepts we used video recordings, annotated scores, choreography scripts, movement instructions, personal reflections, and metaphorical descriptions of the 17 fragments. The process resulted in a contrapuntal choreomusical work where music and dance act as equal parts.

I konserten framförs orgelstämman av dansaren vars rörelser och gester aktiverar Acusticum orgelns orgelpipor och ljudeffekter genom ny interaktiv musikteknologi som utvecklats inom det VR-finansierade forskningsprojektet: Den obestämda platsens musik: telematiskt framförande och komposition som väver samman fysiska och virtuella platser (LTU/ GEMM 2023-25)

Lamento e più tar avstamp i ett textmaterial från tidigt 1600-tal av Ottavio Rinuccini. Texten var i sin tur librettot till den förlorade operan Arianna som tonsattes av Claudio Monteverdi. Det enda återstående musikaliska fragmentet ur denna opera från 1607 är den berömda arian "Lasciatemi morire" – också kallad "Lamento d ́Arianna" – och kring denna aria finns i librettot intressanta texter som Monteverdi en gång tonsatte för kör i den förlorade operan. Det historiska materialet som är utgångspunkt för den nya kompositionen ger möjlighet att vidareutveckla traditionellt utformad polyfoni. Därigenom kan verket utvinna nya tekniker för kontrapunktiska relationer mellan koreografi och musik.

Sestina, av TCP/IP kvartett och Åsa Unander-Scharin är ett ca 40 minuter långt verk, där ny musik, som skapats genom en radikal omtolkning av Monteverdis partitur, omger varje sats av det ursprungliga verket. En central faktor är hur både en dansare och två musiker styr Studio Acusticums hyperorgel, och därigenom iscensätter en läsning av Monteverdi som stundtals går långt in i körverkets detaljer, och i andra delar söker ett fågelperspektiv och väver in körmusiken i en långt större form. 

TCP/INDETERMINATE PLACE QUARTET bildades 2021 och består av Federico Visi, Robert Ek, Mattias Petersson och Stefan Östersjö. Klarinettisten Robert Ek och tonsättaren Mattias Petersson är båda doktorander vid Musikhögskolan i Piteå och knutna till forskningsklustret GEMM (Gesture, Embodiment and Machines in Music) där Federico Visi gjort ett postdoktoralt forskningsprojekt. Klustret leds av Stefan Östersjö, professor i Musikalisk gestaltning och ämnesföreträdare vid Musikhögskolan. Kvartetten tilldelades ”Best Music Award” först vid NIME (New Interfaces for Musical Expression) i Shanghai och sedan vid “Audio Mostly” i Graz. Båda prisen delades ut 2021, med hänvisning till kvartettens banbrytande spel med distansstyrda orglar, som utvecklats inom ramen för det internationella projekt Global Hyperorgan.