KASK Cahiers 1 by KASK

Kask Cahiers 1

Silvia Defrance & Martine Huvenne

Over audiovisuele compositie Naar een nieuwe terminologie

On Audiovisual Composition Towards a New Terminology

Dit is nummer 1 van de KASK CAHIERS, een publicatiereeks die de artistieke onderzoeksprojecten van de Koninklijke Academie voor Schone Kunsten Hogeschool Gent documenteert en een forum biedt voor de studie en beoefening der kunsten. This is number 1 of the KASK CAHIERS, a series of publications documenting the artistic research projects of the Koninklijke Academie voor Schone Kunsten Hogeschool Gent and providing a forum for the study and practice of the arts.

Wim DeTemmerman Head of Department Luc Derycke &Thomas Desmet Designers Eddy Muyllaert Coordinator Seth Van Damme Editor Enschedé-Van Muysewinkel Printing ISSN 1781–9849 © Martine Huvenne, KASK, Hogeschool Gent 2005

De KASK CAHIERS kunnen aangekocht worden in de Hogeschool Gent en op onze website. The KASK CAHIERS are available for purchase at the Hogeschool Gent and on our website.

Hogeschool Gent Departement Architectuur, Audiovisuele en Beeldende Kunsten Koninklijke Academie voor Schone Kunsten Jozef Kluyskensstraat 6 9000 Gent Tel. +32 (0)9 266 08 00 Fax +32 (0)9 266 08 01 Email seth.vandamme@hogent.be Website www.kaskcahiers.be

Woord Vooraf 4

Over audiovisuele compositie Een onderzoek naar een nieuwe terminologie: Silviaâ&#x20AC;&#x2122;s Bagatelle

Preface 17

On Audiovisual Composition A Research Towards a New Terminology: Silviaâ&#x20AC;&#x2122;s Bagatelle

Dankwoord De auteurs willen hun dank betuigen aan iedereen die heeft bijgedragen aan de totstandkoming van dit project: KASK afdeling audiovisuele kunst, COBEK, Hogeschool Gent, het Internationaal Filmfestival van Vlaanderen Gent, en de London School of Sounds. Speciale dank aan: Rokus de Groot, Truusje Graste, Marcel Martens, Eric Ubben, Geert Vergauwe, Dirk Vervenne

Woord vooraf

Het volgende onderzoek werd opgestart in  in de vakgroep audiovisuele kunst van de Hogeschool Gent, met de steun van het Centrum voor Ontwikkeling en Beoefening der Kunsten. De eerste resultaten vinden hun neerslag in de bijgevoegde dvd en de begeleidende tekst. Met deze publicatie wil de Gentse Koninklijke Academie voor Schone Kunsten het onderzoek in de kunsten dat plaatsvindt binnen haar muren documenteren en voor de buitenwereld ontsluiten. Onderzoek in de kunsten verheldert reflexief en experimenteel de manier waarop kunst wordt gemaakt. Hierbij is het creatieve proces een wezenlijk onderdeel van het onderzoek en is het product de artistieke belichaming ervan. Het onderzoek verkent de mogelijkheden en evalueert de beslissingsmomenten die kunnen leiden tot een kunstwerk. Het gaat erom deze beslissingen te expliciteren en te evalueren in het licht van alternatieve mogelijkheden en keuzes. Eigen aan het artistiek onderzoek is een grote openheid, die soms zover gaat dat men de voorhanden methodieken in vraag stelt, overstijgt of transformeert. De invalshoek van het onderhavige onderzoek is tweevoudig. Enerzijds wordt nagegaan in hoeverre Labans Efforttheorie bruikbaar is voor het proces van het visueel en auditief animeren. Anderzijds wordt onderzocht in welke mate dit bewegingsmodel kan bijdragen tot de studie van de expressiemogelijkheden van abstracte visuele en sonore bewegingen. Labans Efforttheorie werd ontwikkeld om de intenties van menselijke bewegingen te observeren, te beschrijven en te analyseren. Meer in het bijzonder is het een model om het energetische aspect van bewegingen te beschrijven aan de hand van een beperkte set van bewegingsfactoren. Voorliggend onderzoek vertrekt van Laban om abstracte visuele en sonore bewegingen en hun interactie binnen de audiovisuele compositie te benoemen. In dit denkkader worden muzikale eigenschappen zoals ritme, melodie, harmonie, stemvoering en dynamiek opgenomen in een bredere bewegingscontext. Silvia’s Bagatelle en Michaels Bagatelle zijn de eerste stappen van het artistiek onderzoek. Beide experimenten tonen aan hoe, in de interactie tussen de visuele en sonore beweging, een brede waaier van mogelijkheden en nuances kan worden ontwikkeld, vertrekkend vanuit hetzelfde visuele materiaal. De centrale vragen waarop dit onderzoek een antwoord wil bieden luiden: hoe beïnvloedt het beeld de muziek, en hoe beïnvloedt de muziek het beeld, indien de animatiefilm gepercipieerd wordt als een audiovisuele compositie? Hoe kunnen we hierover communiceren? Met andere woorden, welke terminologie en welk denkkader moet hiervoor worden ontwikkeld?

Over audiovisuele compositie Een onderzoek naar een nieuwe terminologie: Silvia’s Bagatelle Martine Huvenne

Inleiding Dit artikel is de eerste neerslag van een onderzoeksproject dat zich nog in de beginfase bevindt. Het benadert de klankfilm als een audiovisuele compositie en stelt beweging als gemeenschappelijke basis van klank en beeld voorop. De audiovisuele compositie wordt dan niet zozeer als een verhaal of betekenisvol geheel geïnterpreteerd, maar als een compositorisch potentieel met elementen die uitdagen tot betekenisgeving. Binnen deze benadering is de visuele laag evenwaardig aan de sonore en vormen ze samen een soort van ‘polymovie’, te vergelijken met de polyfonie in de muziek. Het onderzoek spitst zich toe op de interactie tussen de sonore en visuele laag, de invloed van het beeld op de klank en omgekeerd, en de mate waarin klank en beeld samen een bewegingscontrapunt vormen. De voornaamste drijfveer van het project is de begeleiding van de artistieke praktijk. Op welke manier kan binnen het creatieve proces worden nagedacht over de audiovisuele compositie? Hoe ziet een auditieve en visuele bewegingsanalyse eruit? Welke terminologie gebruiken we daarvoor? Deze vragen richten zich in eerste instantie tot de componist, sounddesigner, cineast en animator, en in de tweede plaats tot de toeschouwer/luisteraar. We zijn daarom vertrokken van een artistiek experiment dat is vastgelegd op de bijgevoegde dvd. Het betreft een animatiefilm die werd ontwikkeld door Silvia Defrance op basis van de de Bagatelle (Opus , ) van Anton Webern en vervolgens werd voorzien van een nieuwe klankband gecomponeerd door Michael Weilacher. De keuze voor animatiefilm als vertrekpunt van onze bewegingsstudie lag voor de hand: het is de taak van de animator om in de door hem gecreëerde beweging levendigheid te suggereren. De aard van het medium animatie dwingt de maker ertoe om voor de creatie van een levendige beweging gebruik te maken van zowel beeld als klank. De vraag luidt dan hoe we beweging moeten benaderen vanuit deze invalshoek. Deze paper geeft de aanzet tot een bewegingsanalyse van de audiovisuele compositie door een beroep te doen op de bewegingsleer van Rudolf Laban. Diens efforttheorie biedt een denkkader voor de energetische benadering van beweging. Met een eerste toepassing van de efforttheorie willen we het onderzoeksterrein openleggen en verkennen, zowel binnen het artistieke proces als in de beschrijving van de animatiefilm.

Beweging In L’image-mouvement wijst de Franse filosoof Gilles Deleuze op de moderne interpretatie van beweging. Deze is volgens hem mogelijk gemaakt door de film en het duidelijkst waarneembaar in de animatie. De figuur wordt er niet beschreven (getekend) in een uniek moment. Het is de continuïteit van de beweging, stelt Deleuze, die de figuur beschrijft.1 Hieruit volgt dat beweging niet geanalyseerd kan worden aan de hand van statische posities in de ruimte en stippen in de tijd (immobiele coupures). De beweging bevindt zich tussen de momenten die aangestipt worden. Film en animatie leveren ons de illusie van beweging onder de vorm van ‘bewegingsbeelden’ (image-mouvements). Deze omschrijving stemt overeen met de definitie van animatie geformuleerd door de Canadese animator Norman McLaren: “Animation is not the art of drawings-that-move but the art of movements-that-are-drawn. What happens between each frame is much more important than what exists on each frame ... Animation is therefore the art of manipulating the invisible interstices that lie between frames.”2 Elke analyse van beweging in film en animatie zal dus gebaseerd moeten zijn op een model dat rekening houdt met het dynamische karakter van de beweging; ze zal ook gebruik moeten maken van een terminologie die een beschrijving van bewegingskwaliteiten in termen van dynamiek toelaat. De efforttheorie van Laban is, zoals we zullen zien, een dergelijk model.

Geanimeerde beweging In tegenstelling tot de film, waar de beweging van de figuur een eigenschap is van het geregistreerde object of lichaam, moet hetzelfde fenomeen in de animatie worden ‘aangemaakt’. De geanimeerde beweging krijgt haar ziel, karakter of identiteit pas wanneer aan het bewegende beeld visuele en sonore kwaliteiten worden toegekend. Het samenspel van klank en beeld maakt het beeld levendig, animeert het. Laten we dit illustreren aan de hand van een voorbeeld. Een figuur in een animatiefilm tikt tegen een kristallen glas om de aandacht van de disgenoten te vragen. De klank verraadt zeer veel: de materie van het glas, de intentie van de figuur die de tik uitvoert, en het relatieve belang van de tik in de totaliteit van het gebeuren. We kunnen op verschillende manieren naar die tik luisteren. We kunnen luisteren naar de bron van het geluid (we herkennen de klank van het kristal door haar typische resonantie). We kunnen de tik begrijpen als een signaal om aandacht te vragen (de betekenis van het geluid binnen het verhaal). We kunnen luisteren naar de informatie die de tik ons geeft over het personage (zijn karakter, gemoedstoestand). Bovendien kunnen we de tik ook beluisteren als een accent binnen het geheel van de klankband, die mede het ritme van de film bepaalt (het muzikale eerder dan het betekenisgevende aspect van de klank).3 Aan dit kleine geluid kunnen we bijzonder veel informatie toeschrijven, die we als toeschouwer blijkbaar moeiteloos verwerken en begrijpen. Wanneer men bovenbeschreven processen bestudeert, heeft men het al te vaak over de functie van klank en beeld in het coderen van betekenis. Vergeten wordt dan dat de precieze betekenis van een beweging mede tot stand komt door de energetische eigenschappen waarmee een beweging, visueel en sonoor, wordt uitgevoerd. Het probleem is dat de taal die we hanteren om de betekenisgevende kwaliteiten van bewegingen te beschrijven en te bestuderen niet nauwkeurig is en verder moet worden ontwikkeld. Hierbij kunnen verschillende vragen worden gesteld: wat zijn de energetische eigenschappen van de beweging? Hoe kunnen we de interactie beschrijven tussen de visuele en sonore beweging? Welke impact heeft de sonore beweging op de visuele en vice versa? Wat is de invloed van elke component op de totale audiovisuele compositie? Welke terminologie is voorhanden? Welke referentiekaders? In hoeverre moet een animatiefilmer hierover reflecteren? Of kunnen deze problemen enkel intuïtief worden benaderd? Hoe kan een animator aan zijn klankman of componist de juiste toedracht van zijn intenties overbrengen om het gewenste resultaat te bekomen? En hoe kan een animator inschatten wat de meerwaarde van de klank zal zijn voor de geanimeerde beweging? 1. Deleuze, G. . Cinéma 1: L’image-mouvement, Paris, Editions de Minuit, p. . 2. Sifianos, G. . The definition of animation: a letter from Norman McLaren, Animation Journal,  (), pp. -. 3. Chion, M. . Guide des objets sonore, Pierre Schaeffer et la recherche musicale, Paris, Editions Bucher/Chastel, p. .

Voorliggend onderzoek wil deze vragen stap voor stap behandelen, vertrekkend vanuit de artistieke praktijk van de audiovisuele compositie. In wat voorafging zagen we al hoe de beweging werd beschreven als een dynamisch proces van zowel klank als beeld. In wat volgt wordt de efforttheorie van Laban geïntroduceerd als een model om de eigenschappen van bewegingen te analyseren in dynamisch perspectief.

De efforttheorie van Laban Labans efforttheorie is een onderdeel van de Laban Movement Analysis (LMA), een sterk uitgebouwd model dat toelaat beweging te observeren en te beschrijven. Zijn benadering wordt vooral gebruikt in de dans en het theater, maar kent ook toepassingen in de computeranimatie en -muziek.4 Labans principes worden gekenmerkt door volgende aannames: beweging is een dynamisch proces en geen statisch gebeuren; in alle bewegingsanalyses blijft de verbinding tussen het mentale en het fysieke intact; alle bewegingscomponenten zijn onderling afhankelijk; de bewegingsconcepten zijn toepasbaar op elk type van beweging. Om de effort in een beweging te beschrijven, onderscheidt Laban vier bewegingsfactoren: gewicht, ruimte, tijd en flow,5 die hij de factoren van de effort noemt. Ieder persoon heeft zijn effortpatronen (movement signature), die worden gekenmerkt door specifieke accenten binnen deze factoren. Ze weerspiegelen de mentale inhoud van de beweger. Hij kan telkens ‘vechten tegen’ (fighting 6) of ‘toegeven aan’ (indulging) de vier bewegingsfactoren. Dit resulteert in polariteiten van tegenovergestelde effortelementen en alle nuances ertussen: — Voor de factor ruimte wordt onderscheid gemaakt tussen een directe of indirecte (flexible) houding om de ruimte te benaderen. — Voor de factor gewicht wordt onderscheid gemaakt tussen een sterke (firm) of lichte (fine touch/gentle) houding om de kracht in te zetten die nodig is om het gewicht te verplaatsen. Laban maakt hier geen duidelijk onderscheid tussen kracht en gewicht. We spreken van zwaar en sterk binnen deze factor. — Voor de factor tijd wordt onderscheid gemaakt tussen een plotse (sudden) of doorgaande (sustained) houding om de tijd in te zetten. — Voor de factor flow wordt onderscheid gemaakt tussen bound flow, een gebonden, gecontroleerde, of te stoppen houding ten aanzien van de flux (stroom) van de beweging; en free flow, een vrije, minder gecontroleerde, niet te stoppen houding ten aanzien van de flux van de beweging. Ze worden benoemd als de tegengestelde elementen gebonden (bound) en vrij (free). We onderscheiden acht bewegingskwaliteiten of efforts: duwen, glijden, wringen, zweven, deppen, slaan, tikken en stoten. Duwen: doorgaand, direct en zwaar. Glijden: doorgaand, direct en licht. Wringen: doorgaand, indirect en zwaar. Zweven: doorgaand, indirect en licht. Deppen: plots, indirect en licht. Slaan: plots, indirect en zwaar. Tikken: plots, direct en licht. Stoten: plots, direct en zwaar.

4. Binnen de animatie wordt Labans efforttheorie als referentiekader gebruikt voor het levendig maken van via motion capturing computergegenereerde bewegingen. (Motion capturing is een techniek waarbij live bewegingen via punten op het lichaam worden omgezet in bewegingen op de computer.) Ook Ed Hooks vertrekt vanuit de efforttheorie van Laban. In: Hooks, E. . Acting for animators, Porthmouth, Reed. 5. Flow kan in het Nederlands worden vertaald door ‘stroom’ of ‘loop’, maar deze woorden dekken de totale lading niet, zoals later in de tekst zal blijken. Vandaar dat het zinvoller en juister lijkt om de Engelse term te bewaren. 6. De oorspronkelijke Engelse benamingen zijn voor een goed begrip vermeld.

GLIJDEN

DEPPEN

licht

TIKKEN

ZWEVEN

direct plots

indirect doorgaand

STOTEN

WRINGEN

DUWEN

zwaar

Basis ‘efforts’ van R. Laban SLAAN

Laban gaat ervan uit dat het lichaam de drager is van de intentionaliteit van het bewustzijn, die aan alle beweging ten grondslag ligt.7 Als toeschouwers kunnen we deze intentionaliteit ‘lezen’. Labans efforttheorie is dus een instrument om beweging en haar kwaliteiten te observeren en te identificeren. Zo kunnen we ook de intentionaliteit van een abstracte beweging gaan lezen. Gezien de specifieke eigenschap van de geanimeerde beweging als een samenstelling van een auditieve en visuele dynamiek, rijst de vraag of we Labans model kunnen toepassen op sonore bewegingen.

Sonore beweging Hoewel Laban beweert dat effort waarneembaar is in klank,8 is het niet eenvoudig om zijn principes toe te passen op sonore bewegingen. Ruimte, richting en gewicht, bijvoorbeeld, zijn niet altijd even duidelijk te bepalen. Een van de vragen waarop het artistieke experiment een antwoord zal moeten bieden, luidt dan ook: kunnen sonore bewegingen worden benoemd in termen van efforts? En verder: kunnen we over sonore bewegingskwaliteiten spreken in musicologische termen? Er bestaan heel wat verwijzingen naar beweging als metafoor in de musicologie die niet alluderen op de efforttheorie van Laban.9 Componisten-theoretici zoals Pierre Schaeffer en Michel Chion spreken 7. Maletic, V. . Body, Space, Expression, Amsterdam, Mouton de Gruyter, pp. -. 8. “Effort is visible in the action movement of a worker, or a dancer, and it is audible in song or speech. … The fact that effort and its various shadings cannot only be seen and heard, but also imagined, is of great importance for their representation, both visible and audible, by the actordancer. He derives a certain inspiration from descriptions of movements that awaken his imagination.” In: Laban, R. . The Mastery of Movement, Plymouth, Northcote House Publishers, p. . 9. Snyder, B. . Music and memory, Cambridge Massachusetts, The MIT Press, pp.  e.v.

expliciet over het energetische karakter van de sonore beweging. In zijn Traité des objets musicaux stelt Schaeffer de morfologie van de klanken voor als een classificatiesysteem: “le son de la scierie, tout comme un glissando de violon, évolue en tessiture. Il est plus important et plus général, à notre avis, de constater et de comprendre cet aspect de la morphologie du son, que de chercher à la décrire prématurément par l’intermédiaire d’une notation en dièses et bémols.”10 Chion zet de gedachtegang van Schaeffer verder. Hij beweert expliciet dat geluid beweging is. Het geluid impliceert altijd een verplaatsing, een agitatie. Geluid kan onbeweeglijkheid suggereren, maar slechts in beperkte gevallen. Door het feit dat de klank het spoor is van een beweging heeft het geluid een eigen temporele dynamiek:11 “Qui dit DYNAMIQUE implique la notion de force, d’énergie, et l’on peut écouter et manier les sons comme des phénomènes énergétiques et en mouvement, et non comme des objets alignés et empilés sur les étagères du temps.”12

De opzet van het artistieke experiment Om de complexiteit van de studie van de geanimeerde beweging zoveel mogelijk te beperken en inzicht te verwerven in het artistieke proces, werd het volgende experiment opgezet. Vanuit een analyse van de sonore bewegingskwaliteiten aan de hand van een visuele partituur, werd aan Silvia Defrance gevraagd om een originele beeldband te maken bij de de Bagatelle van Webern. Ze werkte autonoom het visuele vocabularium uit, vertrekkend vanuit haar auditieve analyse van Weberns muziek. Martine Huvenne coachte haar in het tot stand brengen van de visuele compositie: de visuele vertaling van de sonore bewegingskwaliteiten vereiste immers een ruimtelijkheid die door de geanimeerde bewegingen tot stand werd gebracht. Martine en Silvia werkten tevens samen om de compositorische structuur te bepalen. Dit zowel op gebied van de vorm als van de visuele polymovie. Vervolgens werd aan Michael Weilacher de taak gegeven om een originele klankband te maken bij de beeldband van Silvia. Het resultaat van het eerste experiment noemen we Silvia’s Bagatelle, dat van het tweede Michaels Bagatelle. Op basis van dit materiaal stellen we nu een beschrijving voor van de bewegingskwaliteiten en het bewegingsverloop in beide animatiefilms. We gaan op zoek naar de invloed van de visuele en sonore dynamiek op de geanimeerde beweging, hun onderlinge relaties, en hun effect op de totaliteit van de audiovisuele compositie. Eerst geven we nog een woordje uitleg bij het uitgangspunt van het experiment.

De keuze van Anton Weberns de Bagatelle (uitgevoerd door het Juliard String Quartet) De Bagatellen opus 9 van Anton Webern behoren tot de atonale muziek. Dit betekent dat ze geschreven zijn met een enorme vrijheid van combinaties van toonhoogtes en een poëtische grammatica. De ‘melodieën’ zijn niet meer voorspelbaar. De klassieke logische samenhang ontbreekt auditief. In plaats daarvan gaat een bijzondere aandacht naar de speelwijze van elke noot. We krijgen een afwisseling van tonen die voluit klinken, naast pizzicati en glissandi, naast akkoorden die door hun samenstelling en speelwijze een wereld van boventonen laten meeklinken. Hierdoor wordt één enkele maat soms een kleine compositie op zich. In de de Bagatelle, die in de uitvoering van het Juliard String Quartet precies  minuut en  seconden duurt, is een hele wereld tot stand gekomen zonder dat we de betekenis ervan precies kunnen duiden. Het is een sonoor aforisme van gekristalliseerde bewegingen. Dit maakt het muziekstuk uiterst geschikt voor een abstracte visuele interpretatie die zal focussen op de bewegingskwaliteiten van de muziek.

Silvia’s Bagatelle13 Silvia heeft Weberns muziekstuk op een beeldende manier geïnterpreteerd. Ze heeft de analyse in kaart gebracht op een visuele partituur. Op die manier heeft ze de globale structuren van de visueel te 10. Schaeffer, P. . Traité des objets musicaux, Paris, Editions Seuil, p. . 11. Chion, M. . L’audio-vision, son et image au cinéma, Paris, Nathan, p. . 12. Chion, M. . Un langage pour décrire les sons, (conférence à Bâle). 13. De volgende beschrijving van het experiment wordt best gelezen met het beeldmateriaal op de bijgevoegde dvd bij de hand.

animeren compositie vastgelegd. Silvia’s auditieve analyse van het muziekstuk gebeurde door het memoriseren van elementen uit de klankband en het vastleggen van sonore bewegingen volgens de terminologie van Laban. Silvia bepaalde eerst de stiltes. Vervolgens legde ze zich toe op wat voor haar de meest specifieke bewegingskwaliteit was in het stuk van Webern: de dep (plots, indirect en licht). Dit gaf een soort skelet waarin losse animaties hun plaats vonden. Het was tevens het uitgangspunt om het visueel vocabularium van de compositie vast te leggen. Pas in een tweede stadium ging Silvia meer structureel analyseren in periodes.14 Parallel hiermee creëerde ze dan verscheidene visuele ruimtes. De abstracte animatiefilm van Silvia zou voorgesteld kunnen worden als een bewegende partituur in real time. Maar ze is meer dan enkel een weergave van de sonore compositie: ze heeft zelfstandigheid. Voor de visuele vertaling van de sonore beweging heeft Silvia een techniek ontwikkeld die het spontaan animeren onder de camera combineert met computerbewerking. De keuze voor een soort kalligrafie als visueel vocabularium lag voor de hand. Opvallend is echter dat Silvia haar movement signature onmiddellijk als ankerpunt heeft genomen. Ze is vertrokken van wat ze het sterkst ervoer in de muziek: de dep. Haar bevinding is dat de basisenergie van de beweging van in het begin goed moet zitten. Silvia schrijft zelf: “Zo vertonen de geanimeerde verfborstelvegen een beweging van binnen naar buiten. De energie wordt als het ware spontaan geëxtrapoleerd op het werkvlak. Een bijkomend aspect van deze werkwijze is dat het louter illustratieve in de vormgeving wordt vermeden. De vorm is niet het eerste uitgangspunt, ze ontstaat automatisch door de energie van de beweging die de animator reeds geïncorporeerd heeft. Het vooraf belichamen van de energie vergroot het bewustzijn omtrent die beweging, en vertaalt zich dikwijls naar een soort van ademhaling in de beweging, een articulatie die toelaat de animatie of bewegingszin duidelijker te lezen.” In Silvia’s Bagatelle is op artistieke wijze een eerste antwoord geleverd op de vraag of we eveneens van bewegingskwaliteiten van sonore bewegingen kunnen spreken. Hoewel een meer gesystematiseerde analyse van het materiaal zal plaatsvinden in een volgend stadium van het onderzoek, kunnen we nu reeds vaststellen hoe de beweging van de totale audiovisuele compositie wordt gestuurd door de dynamiek van haar samenstellende delen. periode 1. Het stuk begint met een duidelijke inzet die de muzikale ruimte opent. Een langzame, glijdende sonore beweging die stil en gedempt wordt gespeeld bundelt iets meer energie op het moment van toonhoogteverandering. Het tempo is traag. Deze muziek lijkt tijdloos en vooral ruimtelijk. Een spiraalvormige beweging ondersteunt deze beweging. Ze blijft even stilstaan bij de toonhoogteverandering en ebt met de klank weg. Visueel gebeurt er echter veel meer: er komt een tableau tot stand—een synthese van alle vormen en bewegingen die de visuele compositie bevat, een soort van visuele ouverture. Door de veelheid van gebeurtenissen heeft het visuele de overhand. De openheid en onbevangenheid van dit kijken wordt door de muzikale beweging gedicteerd. Het pizzicato in de eerste viool klinkt heel zacht. Een pizzicato is door haar getokkeld karakter dé sonore interpretatie van de depkwaliteit: plots, licht en indirect. Dit is duidelijk een ankerpunt: de visuele en sonore bewegingskwaliteiten vallen samen. We zien dat het beeld meer tijd neemt om de dep te plaatsen. Het pizzicato raakt het visuele beeld op het moment dat de dep ‘grond’ raakt. Het geluid vormt eigenlijk de ‘grond’ van het visuele beeld.15 We spreken hier van een sonoor accent dat de plotselinge plaatsing in de tijd van de visuele beweging versterkt. Hoewel dit pizzicato geïsoleerd klinkt (en in Silvia’s Bagatelle ook geïsoleerd in beeld springt), vormt het een geheel met de volgende pizzicati die consequent als depbewegingen geïnterpreteerd zijn. Ze komen echter tel14. De opdeling van de audiovisuele compositie in periodes kan vergeleken worden met het samennemen van verschillende melodieën in de klassieke analysepraktijk. 15. In een voorstudie over de bewegingskwaliteit ‘zweven’ was deze samenhang tussen bewegend beeld en klank zeer duidelijk. Wanneer een contact met een oppervlak waarneembaar is op de klankband, dan interpreteren we dit als een ‘grond’. Zo bleek het onmogelijk om een zwevende beweging te suggereren in een simpele geanimeerde beweging als een wrijving met het oppervlak constant hoorbaar was. Dit veranderde volledig wanneer bijvoorbeeld alleen de inzetten van de beweging werden aangegeven en de klank verder in de ruimte werd geprojecteerd (zie voorbeelden ‘Zweven’ op dvd).

kens vanuit een andere hoek van het kader tevoorschijn. De tweede continue laag die erbij komt, maskeert hun verrassend karakter. Deze tweede laag refereert auditief aan de eerdere lange, glijdende beweging. Ze verschilt echter sterk van textuur. De op de kam aangestreken tonen laten een rijkdom van microbewegingen horen die visueel weergegeven zijn in een trillende lijn. De visuele trillingen beklemtonen de veelheid van impulsen in de aangehouden klank. Een rode lijn geeft de trillingen haast seismografisch weer, terwijl een zwarte, grillige, scherpe lijn in superpositie vorm geeft aan het hoekige karakter van de vele kleine impulsen die de lange, continue lijn levendig houden. De luidheid en sterkte van de sonore beweging krijgt visueel een antwoord in de massa van de lijnen. Wanneer de muziek verstilt, verbrokkelt de rode lijn tot een diffusere textuur. De cohesie is losgelaten. De herinneringen aan de opbouw worden weergegeven als een visuele resonantie in een doffere laag achter de rode lijn. periode 2. Een nieuwe periode zet in: een voortgaande beweging die nu langer de glijdende kwaliteit aanhoudt en visueel wordt vastgehouden door een vage achtergrond. De sonore beweging is intrinsiek rond en glijdend: doorgaand, licht en met een ritme. Pas op het einde zwelt de beweging aan en wordt een accent geplaatst door een krachtiger noot in de altviool. Dit accent krijgt een antwoord in een plotselinge visuele beweging die als een soort leesteken functioneert. Visueel verwijst dit leesteken naar de dep, maar ze krijgt niet hetzelfde accent mee in de muziek (de ‘grond’) waardoor de beweging ronder overkomt. Deze doorgaande beweging wordt verrijkt door verschillende lagen: glijdende bewegingen die elkaar doorkruisen; het opentrekken van de ruimte; een kronkelende lijn die haar continue weg aflegt en verdwijnt in een cirkel. Deze lagen geven telkens antwoord op auditieve impulsen. Het opentrekken van de ruimtes volgt het toenemen van de dynamiek. De slingerbeweging in de cirkel is opnieuw een leesteken. Eén visueel element trekt de aandacht en zal een compositorisch belangrijke rol spelen: de dep in de cello krijgt een aparte interpretatie: een groengele, hoekige vorm met op de achtergrond een allusie op de vorige deps. Dit kondigt een volgend hoofdstuk aan. De visuele laag lijkt hier een eigen logica te volgen die de verbinding legt met de aansluitende periode. periode 3. Er volgt een kleine pauze waarna een akkoord trapsgewijs ontstaat. De laatste noot in de reeks van drie is opnieuw een pizzicato: deze wordt ditmaal geaccentueerd door het vasthouden van een moment, een stilstaand beeld (het ‘Chinese teken’). Het is een duwbeweging die auditief een accent krijgt door een pizzicato en visueel uitmondt in een beeld dat even aangehouden wordt en met de klank mee wegebt. Nog voor de aanhoudende lijn is opgehouden ontstaat al een nieuwe beweging. Een pizzicato in de cello met een glissando naar een voluit klinkende noot. Een volle lijn in het beeld neemt enkel het plotselinge karakter van de pizzicato over. De glissando krijgt een golfbeweging die opgeslokt wordt door een kader. Er wordt een link gelegd van de zichtbare golven naar een regelmatige afwisseling van toonhoogtes. Het inzetten van de tonen is tevens de aanzet tot een visuele beweging: een verplaatsing van een kader in de ruimte, en de visuele beklemtoning van de weg die dit kader aflegt. Deze beweging wordt weer afgesloten met een golvende lijn die in het steeds verkleinende kader wegzinkt. De periode wordt afgerond door een veelkleurige, breeduit geschilderde dep. Dit schept een verwachting... periode 4. Auditief verwijst de laatste dep naar de eerste dep in het stuk, ook al vanwege haar geïsoleerd karakter. De laatste periode bestaat uit een inzet, even een rust en de afwerking van de klank. De inzetten van de klanken zijn meegenomen om het tableau opnieuw te laten ontstaan. Dit keer is er echter geen continue sonore beweging, en visueel gebeurt er bijna hetzelfde. De pizzicati op het einde vinden hun visuele resonantie in het weg flitsen van alle visuele elementen. In afwachting van een meer diepgravende analyse van het materiaal kunnen we toch reeds enkele opmerkelijke conclusies trekken. Bij Webern kunnen we spreken van ruimtelijke muziek. Door de nadruk op de bewegingskwaliteiten is het specifieke aspect van de harmonische ruimte in de de Bagatelle niet meege-

nomen in de geanimeerde creatie. De spanning tussen de tonen gaat ten dele verloren door de visuele invulling die een duidelijk verloop aanduidt. Dit is mede bepaald door de heldere vormgeving en de pittigheid van de deps. Silvia heeft het glijdende karakter van de muziek gerespecteerd in bepaalde lagen. Tegelijkertijd heeft ze zich laten leiden door details en fijne accenten in de klank om het beeld levendig te maken. Ze heeft in haar visuele vertaling van Weberns de Bagatelle een duidelijke ABA-structuur geïntroduceerd door de compositie te laten beginnen en eindigen met hetzelfde beeld: het tableau. Wat het visuele vocabularium betreft, heeft ze naast de ronde, warme vormen strakke en scherpe lijnen aangebracht en naar kleurcontrasten gezocht. Dit alles geeft een eigen dynamiek aan de totale compositie. We luisteren duidelijk anders naar Weberns muziek zonder de beeldband, wat aanduidt dat het beeld de compositie beïnvloedt. Het beeld bevat veel meer ritmische elementen dan het muziekstuk. In grote lijnen zijn de fraseringen gevolgd. Het glijdende karakter van de sonore bewegingen is echter op verschillende manieren geïnterpreteerd: soms is de toename van de dynamiek weergegeven door een opeenstapeling van visuele elementen, soms door snellere, grilligere en grotere bewegingen. Ook het doorgaande karakter van de sonore beweging krijgt verschillende interpretaties: een opeenvolging van gebeurtenissen met een tableau als resultaat; een aangehouden lijn met allerlei microbewegingen; een opeenstapeling van verschillende bewegingen die in relatie tot elkaar komen te staan; het ontstaansproces van een beeld; het in- en uitzoomen van de geanimeerde vlakken. Op het gebied van het ruimtegebruik is vooral gewerkt met de principes van richting: in het beeld ten opzichte van het kader, of door een directe lijn en projectie in de visuele ruimte. Audiovisueel is een compositie tot stand gekomen waarin een grote samenhang heerst tussen de sonore en visuele bewegingen. De visuele interpretatie creëert het kader waarbinnen we de muziek horen; de klank van haar kant bepaalt voor het grootste deel het tempo waarin we kijken. Kijken en luisteren wisselen elkaar af. Weberns muziek wordt anders ervaren met of zonder beeld. We kijken eerst naar de veelheid van elementen die het tableau doen ontstaan. Daarna worden we weer wakker geschud door de sonore bewegingen: de pizzicati tegenover de glijdende bogen die worden neergezet. Kleine accenten krijgen een nadruk door een verdubbeling ervan in het beeld. Op het moment dat de dep in een andere kleur en vorm wordt weergegeven, ontstaat een aparte vertelkracht in het beeld: het Chinese teken wordt aangekondigd. We worden geconfronteerd met een stilstaand beeld dat wel is aangegeven door het pizzicato in de muziek maar niet overeenstemt met de sonore frasering. De sonore bewegingen worden in een opeenvolging van gebeurtenissen geïnterpreteerd waardoor we opnieuw intenser gaan kijken tot op het einde alles oplost.

Michaels Bagatelle In het tweede stadium van het experiment werd aan componist Michael Weilacher gevraagd om de beeldband van Silvia auditief te interpreteren en de waargenomen bewegingskwaliteiten weer te geven in klank. Hoewel ook dit maal de eigenlijke analyse van de empirische data moet wachten tot later, kunnen we vaststellen hoe dezelfde geanimeerde beweging verandert volgens de sonore of visuele keuzes die men maakt. Laten we opnieuw kijken naar de resultaten in periodes. periode 1. De ruimte wordt geopend met een sterke slag op de tamtam die verder resoneert. In het beeld volgt deze klank de spiraal die tot stilstand komt in het tableau. Deze vorm ebt weg op de resonantie van de cimbalen. Wat ons meeneemt, is de kracht van de aanzet en de verdere uitwerking van het visuele ritme in de compositie. Ineens worden kleine details prominent en fungeren ze als een soort beweegreden. Voor het tableau verdwijnt, zien we links in het kader twee korte tikbewegingen. Michael ondersteunt dit detail zodat ze de aanzet tot het verdwijnen van het tableau lijken te zijn. Dit geeft de audiovisuele compositie een uitgesproken dynamisch karakter. De eerste dep is totaal anders uitgewerkt. De muziek geeft het begin van de dep aan en accentueert het raken van de ‘grond’. In de visuele stilte die daarop volgt, verbindt de muziek de deps aan elkaar. Er komt een bewegingszin met een vinnig, plots en licht karakter tot stand die in contrast staat met de aanzet van de continuïteit van de trilbeweging.

periode 2. Deze periode wordt visueel gekenmerkt door de vage achtergrond. Sonoor wordt de lange,glijdende beweging gevolgd door een opeenstapeling van texturen die de microbewegingen weergeven. Alle visuele bewegingen worden nu in de stroom van de muziek opgenomen. De leestekens die we in Silvia’s Bagatelle konden onderscheiden zijn nu visuele accenten geworden, deel van het sonore geheel. Alleen de geelgroene dep schiet eruit als een signaal dat het Chinese teken aankondigt. Hiermee wordt een ritmische frase ingezet die periode  zal kenmerken. periode 3. De resonantie van een klank begint en het antwoord op de sonore aankondiging van de geelgroene dep volgt. De periode wordt sonoor gekarakteriseerd door een tamelijk regelmatig ritme dat een veelheid van visueel materiaal bundelt. Deze frase verdwijnt met de golfbeweging in het kader. De scherpe tonen die de beweging van de in- en uitzoomende vlakken begeleiden, vormen een transitie naar een andere ruimte. Ze vormen een breuk met de rest. We komen terug uit bij het begin: de dep en het tableau. periode 4. Het tableau is ditmaal bijna identiek met het tableau in periode . Michael bevestigt zo de ABA-structuur van Silvia’s Bagatelle. De totale audiovisuele compositie van Michael heeft dus, zowel naar klank als beeld, een gesloten vorm gekregen. De audiovisuele compositie van Michaels Bagatelle wordt duidelijk bepaald door de klankband. Er zijn meer sonore accenten. De energie van de sonore beweging bepaalt de energie van het kijken. Deze klankband benadrukt veel meer plotse bewegingskwaliteiten en opent sonore ruimtes door krachtige stoten en hun resonantie. Dit lijkt bij een eerste peiling een onmiddellijk effect op de toeschouwer/luisteraar te hebben: hij is veel alerter, minder meegenomen in de stroom. Ook de veelheid van klankkleuren en de verscheidenheid van sonore bewegingskwaliteiten en texturen geven impulsen die waarschijnlijk eerder als prettig, dynamisch en vinnig worden ervaren.

Besluit Wanneer we de artistieke experimenten van Silvia’s Bagatelle en Michaels Bagatelle met elkaar vergelijken, valt op dat de muziek beslissend is in de waarneming en beleving van geanimeerde bewegingen. Dat geldt zowel voor de geïsoleerde audiovisuele bewegingen, als voor de totale compositie van de animatiefilm. Bepaalde visuele details worden pas zichtbaar door sonore accenten en krijgen daardoor een andere functie in het geheel. Maar ook de totale audiovisuele compositie wordt sterk bepaald door de klankband. Michaels Bagatelle zet in met een duidelijk tempo en ritme. De periodes contrasteren en het klankmateriaal trekt een grote lijn doorheen de audiovisuele compositie. In Silvia’s Bagatelle zoeken we naar de onderlinge verbanden tussen de afzonderlijke componenten: alles is hier zachter en subtieler. Het kijken en observeren is veel meer aanwezig. We worden minder meegenomen door een uitgesproken ritme. In deze onderzoekspaper hebben we de complexiteit van ons studiegebied proberen aan te tonen. We hebben ook een voorbeeld gegeven hoe een audiovisuele bewegingsanalyse er kan uitzien. Labans efforttheorie, ons uitgangspunt, heeft als voordeel dat het zowel in de begeleiding van het artistieke proces als in de beschrijving van het eindproduct kan worden gehanteerd. Binnen de audiovisuele compositie reikt het een referentiekader aan om intuïtieve en associatieve verbanden tussen beeld en klank te benoemen en beslissingsmomenten in het creëren van beweging te expliciteren. Door zijn gelaagdheid biedt Labans model uitzicht op de verschillende manieren waarop een effort vorm kan krijgen: in beeld, in klank, of in beeld en klank tezelfdertijd. Het onderzoek staat duidelijk nog in de startblokken. In een volgend stadium willen we meer vergelijkend artistiek materiaal ontwikkelen om het onderzoeksveld verder uit te breiden. Vanuit een meer diepgaande analyse, en op basis van de musicologie en filmtheorie van Deleuze, willen we uiteindelijk komen tot een bruikbare en praktijkgerichte terminologie van de audiovisuele compositie.

Lijst van geciteerde en geraadpleegde werken Chion, M. . Un langage pour décrire les sons, (conférence à Bâle). Chion, M. . L’audio-vision, son et image au cinéma, Paris, Nathan, p. . Chion, M. . L’art des sons fixés ou la musique concrètement, Fontaine, Editions Metamkine. Chion, M.. Guide des objets sonore, Pierre Schaeffer et la recherche musicale, Paris, Editions Bucher/Chastel, p.. Deleuze, G. . Cinéma 1: L’image-mouvement, Paris, Editions de Minuit, p. . Hooks, E. . Acting for animators, Porthmouth, Reed. Johnson, J. . Webern and the transformation of nature, Cambridge University Press. Laban, R. . The Mastery of Movement (revised by Lisa Ulmann), Plymouth, Northcote House Publishers, p. . Maletic, V. . Body, Space, Expression, Amsterdam, Mouton de Gruyter, pp. -. Schaeffer, P. . Traité des objets musicaux, Paris, Editions Du Seuil, p. . Sifianos, G. . The definition of animation: a letter from Norman Mc Laren, Animation Journal,  (2), pp. -. Snyder, B. . Music and memory, Cambridge Massachusetts, The MIT Press, p.  et seq.

Martine Huvenne is musicologe en doceert filmmuziek aan de Hogeschool Gent en Sint-Lukas Brussel. Zij werkt aan een doctoraat op proefschrift over de audiovisuele compositie aan de Universiteit van Amsterdam. Na haar Labanopleiding bij Rob Stuyf leidde zij binnen vzw KONG een danslabo waarin de wisselwerking tussen muziek, muziekcomposities, beweging en bewegingscomposities in praktijk werd onderzocht. Animator Silvia Defrance verrichtte digitaal videowerk voor de VRT en werkt momenteel aan de middellange auteursfilm ‘Candy Darling and Daddy Cane’ met de steun van het VAF, de Stad Gent en de Provincie OostVlaanderen. Zij was gedurende enkele jaren als gastdocente verbonden aan het atelier animatiefilm van SintLukas Brussel. Als onderzoekster aan de Hogeschool Gent werkt zij mee aan het artistiek onderzoeksproject rond bewegingskwaliteiten in de audiovisuele compositie. Slagwerker en componist Michael Weilacher studeerde aan de Eastman School of Music en het Conservatorium van Cincinnati (bij Al Otte en de Percussion Group Cincinnati) en bij Robert van Sice in Amsterdam. Sindsdien trad hij op als solist en in diverse ensembles (o.m. Zeitklang, Champ d’Action, Ictus, Blindman Quartet) zowel in Europa als in Noord- en Zuid-Amerika. Hij was mede initiatiefnemer van de muziektheaterproductie Tongues/Savage Love (naar Sam Shepard). De voorbije jaren ontwikkelde hij zijn eigen Streetbeats, waarbij hij uitsluitend beroep doet op recuperatiemateriaal i.p.v. bestaande slagwerkinstrumenten.

Acknowledgements The authors would like to express their gratitude to everyone who has contributed to the realization of this project: KASK Faculty of Audiovisual Arts, COBEK, Hogeschool Gent, Internationaal Filmfestival van Vlaanderen Gent, and the London School of Sounds. Special thanks to: Rokus de Groot, Truusje Graste, Marcel Martens, Eric Ubben, Geert Vergauwe, Dirk Vervenne

Preface

The following research started in  and took place at the Faculty of Audiovisual Arts, Hogeschool Gent, with the support of the Centrum voor Ontwikkeling en Beoefening der Kunsten. The first results are presented in the attached dvd and the accompanying text. With this publication the Koninklijke Academie voor Schone Kunsten Gent means to document the artistic research that goes on within its walls and disclose it to the outside world. Artistic research elucidates, through reflection and experimentation, the way in which art is made. The creative process is part and parcel of the research activity and the final product is considered to be the research’s artistic embodiment. This type of research explores the possibilities and evaluates the decisions that may result in a work of art. It makes explicit and evaluates the decision-making process in the light of alternative possibilities and options. Typical of artistic research is its degree of openness, which may be taken into a direction where the available methodology is questioned, transcended, or transformed. The vantage point of the present research is twofold. On the one hand, it investigates to which extent Laban’s Theory of Effort can be used in the process of visible and audible animation. On the other hand, it researches the way in which this model of movement can contribute to the study of the expressive potential of abstract visual and sonorous movements. Laban’s Theory of Effort was developed to observe, describe and analyse the intentions of human movements. More precisely, it provides a model to describe the energetic aspect of movement through the use of a limited set of movement factors. The research at hand starts from Laban to identify abstract visual and sonorous movements and their interaction in the audiovisual composition. Within this framework, musical qualities such as rhythm, melody, harmony, voice-leading and dynamics are incorporated into a larger context of movement. Silvia’s Bagatelle and Michael’s Bagatelle are the first steps of the artistic research. Both experiments show how, in the interaction between visual and sonorous movements, a wide array of possibilities and nuances can be created, starting from the same visual material. The central questions this research addresses are: how does the image influence the music, and how does the music influence the image, when we perceive the animated film as an audiovisual composition? How can we communicate this? In other words, which terminology and which frame of reference have to be developed?

On Audiovisual Composition A Research Towards a New Terminology: Silvia’s Bagatelle Martine Huvenne

Introduction This article comprises the first results of a research project that is still in its early stages. It approaches the sound movie as an audiovisual composition and postulates movement as the basis of both image and sound. This means we do not interpret the audiovisual composition as a narrative or semantic unity, but as a compositional potential that has in it elements which may incite the creation of meaning. We consider the visual layer to be of equal importance as the sonorous one. Taken together these layers establish a kind of ‘polymovie’, comparable to polyphony in music. Research will focus on the interaction between the visual and sonorous layers, the impact of image on sound and vice versa, and the extent to which sound and image constitute a contrapuntal movement. The main motive behind the present project lies in guiding the practice of art. How can we reflect upon the audiovisual composition during the creative process? What would an analysis of movement, both visible and audible, look like? Which terminology do we use? These questions address, first of all, the composer, sound designer, film director and animator, and, second, the viewer/listener. Therefore, we have taken as our point of departure the artistic experiment that has been recorded on the enclosed dvd. It consists of an animated film developed by Silvia Defrance from Anton Webern’s th Bagatelle (Opus , ), which in its turn has been fitted with a new soundtrack composed by Michael Weilacher. The choice of animated film as the basis for our study of movement was an obvious one: it is the animator’s task to intimate liveliness in the movement he creates. The animator’s medium is such that he has to rely on image as well as sound to make a vivid movement. The question is how we have to approach movement from this angle. This paper proposes an analysis of movement in the audiovisual composition based on Rudolf Laban’s study of movement. Laban’s Theory of Effort provides a frame of reference for the energetic approach to movement. Starting from Effort Theory we hope to open up and explore research in the field of both the artistic process and the description of animated film.

Movement The French philosopher Gilles Deleuze draws our attention to the modern interpretation of movement. It is a view that has become accessible through film and is most easily discernible in animation. The animated picture is not defined (drawn) as a unique moment in time. It is the continuity of the movement, Deleuze states, that defines the picture.1 As it follows, movement cannot be analysed by means of static positions in space and spots in time (motionless cuts). Movement is what lies in between the spotted moments. Animation and film create the illusion of motion through moving-images (imagemouvements). This description chimes in with the definition of animation given by the Canadian animator Norman McLaren: “Animation is not the art of drawings-that-move but the art of movementsthat-are-drawn. What happens between each frame is much more important than what exists on each frame. ... Animation is therefore the art of manipulating the invisible interstices that lie between frames.” 2 Every analysis of movement in film and animation will have to rely on a model that takes into account the dynamic nature of movement; it will also have to use a terminology that allows a description of movement qualities in terms of dynamics. Laban’s Theory of Effort is, as we shall see, such a model.

Animated Movement In film movement is a quality of the registered body or object. In animation movement has to be ‘manufactured’. An animated movement derives its soul, character or identity, only when the image is endowed with visual and sonorous qualities. The interplay of sound and image makes a picture lively, animates it. Let us illustrate this with an example. In order to draw the attention of its dinner guests, an animated figure taps at a crystal glass. The ensuing sound reveals quite a number of things: the material substance of the glass, the tapping figure’s intention, the relative importance of the tapping sound in what is happening. There are different ways to listen to this figure’s tapping movement. We can listen and try to derive the source of the sound (we recognise crystal due to its typical resonance). We can listen and interpret the sound as a call for attention (the meaning of the sound as a signal within the larger narrative). Or we can listen for the information the sound conveys about the figure’s character (its personality and temper). In addition, we can listen to the tap as an accent in the entire soundtrack, which modifies the film’s rhythm (the musical instead of the semantic quality of the sound).3 It is clear that we can ascribe a good deal of information to this tiny sound bit, which as viewers we are apparently able to register and understand without Effort. When processes such as the above become the object of study all too often attention is centred on the function of sound and image in coding meaning. One tends to forget that the precise meaning of a movement also results from the energetic qualities by which a movement is carried out, both visibly and audibly. The problem is that the language we use to describe and study the semantic properties of movement is not exact and has to be elaborated. This raises a number of questions: what are the energetic properties of movement? How can we describe the interaction between visual and sonorous movements? What is the impact of the sonorous movement on the visual one and vice versa? How does either component contribute to the audiovisual composition as a whole? Which terminology do we use? Which frame of reference? To what extent do animators have to reflect on these matters? Or can we only approach these questions intuitively? How can animators communicate the precise meaning of their intentions to their soundman or composer in order to obtain the desired result? And how do they calculate the surplus value of the sound for the animated movement? The research project at hand will investigate these matters step by step, always taking as its point of reference the arts practice of the audiovisual composition. In the above, we have seen that the animated 1. Deleuze, G. . Cinéma 1: L’image-mouvement, Paris, Editions de Minuit, p. . 2. Sifianos, G. . The definition of animation: a letter from Norman Mc Laren, Animation Journal,  (), pp. -. 3. Chion, M. . Guide des objets sonore, Pierre Schaeffer et la recherche musicale, Paris, Editions Bucher/Chastel, p. .

movement can be best understood as a dynamic unity of image and sound. In the following, Laban’s Theory of Effort will be introduced as a model to analyse the qualities of movement from a dynamic point of view.

Laban’s Theory of Effort Laban’s Theory of Effort is part of the Laban Movement Analysis (LMA), a highly advanced model that allows the observation and description of movement. Laban’s approach is used mainly in dance and theatre, but has been applied in computer animation and music as well.4 Laban’s principles comprise the following assumptions: movement is a dynamic not a static event; every movement analysis maintains the body/mind unification; all components of movement are mutually dependent; movement concepts are applicable to every type of movement. To describe the Effort of a movement Laban distinguishes four factors of movement: Weight, Space, Time, and Flow, which he calls the factors of the Effort. Every individual has its Effort patterns (Movement Signature). These can be identified through series of accents within the Effort’s factors. They mirror the mental content of the mover. In each case the mover either ‘fights against’ or ‘indulges in’ the four factors of the Effort. This gives rise to paired polarities of contrasting Effort actions and all nuances in between:

GLIDE

DAB

light

FLICK

FLOAT

direct sudden

flexible sustained

THRUST

WRING

PRESS

heavy

Basic ‘efforts’ of R. Laban SLASH

4. In animation Laban’s Theory of Effort is used as a frame of reference to animate images via computer generated motion capturing. (Motion capturing is a technique by which dots on the body transform live movements into computer images.) Ed Hooks also starts from Laban. In: Hooks, E. . Acting for animators, Porthmouth, Reed.

— For the factor Space one distinguishes between a direct or flexible action to approach Space. — For the factor Weight one distinguishes between a firm and gentle action to initiate the force that is needed to shift Weight. Laban does not make a clear distinction between Force and Weight. We talk about ‘strong’ and ‘heavy’ to characterize this factor. — For the factor Time one distinguishes between a sudden and sustained action to initiate Time. — For the factor Flow one distinguishes between bound Flow, a controlled and easily arrested action towards the flux of the movement, and free Flow, a less controlled not so easily arrested action towards the flux. They are simply referred to as the opposing actions free and bound. We can now identify eight basic qualities of movement or Effort actions: Press, Glide, Wring, Float, Dab, Slash, Flick, and Thrust: Press: sustained, direct, heavy. Glide: sustained, direct, light. Wring: sustained, direct, heavy. Float: sustained, flexible, light. Dab: sudden, flexible, light. Slash: sudden, flexible, heavy. Flick: sudden, direct, light. Thrust: sudden, direct, heavy. According to Laban the body carries the intentionality of consciousness, which underlies all movement.5 As viewers we can ‘read’ this intentionality. Laban’s Theory of Effort can therefore be considered as an instrument to observe and identify movement and its qualities. In this way, we should also be able to read the intentionality of abstract movements. However, given the special property of animated movements as a compound of a visible and audible dynamic, it remains to be seen whether we can apply Laban’s model to sonorous movements.

Sonorous Movement Even though Laban purports to perceive Effort in sound6, it is no mean task to use his concepts for sonorous movements. Space, Flow, and Weight, for instance, are not always easy to pin down. Therefore, one of the questions our artistic experiment will have to answer is: can we define sonorous movements in terms of Efforts? Or: can we talk about the sonorous qualities of movements in musicological terms? There are a great many references to movement as a metaphor in musicology which do not use Laban’s Theory of Effort.7 Composer-theoreticians like Pierre Schaeffer and Michel Chion talk about the energetic nature of sonorous movements. In his Traité des objets musicaux Schaeffer presents the morphology of sounds as a classifying system: “le son de la scierie, tout comme un glissando de violon, évolue en tessiture. Il est plus important et plus général, à notre avis, de constater et de comprendre cet aspect de la morphologie du son, que de chercher à la décrire prématurément par l’intermédiaire d’une notation en dièses et bémols.”8 Chion continues Schaeffer’s train of thought. In his view sound is movement. Sound always implies transference, agitation. It is only rarely that sound suggests immobility. If sound traces a movement, it follows that sound has its own temporal dynamic: “Qui dit dynamique implique la notion de force, d’énergie, et l’on peut écouter et manier les sons comme des phénomènes énergétiques et en mouvement, et non comme des objets alignés et empilés sur les étagères du temps.”9 5. Maletic, V. . Body, Space, Expression, Amsterdam, Mouton de Gruyter, pp. -. 6. “Effort is visible in the action movement of a worker, or a dancer, and it is audible in song or speech. … The fact that effort and its various shadings cannot only be seen and heard, but also imagined, is of great importance for their representation, both visible and audible, by the actordancer. He derives a certain inspiration from descriptions of movements that awaken his imagination.” In: Laban, R. . The Mastery of Movement, Plymouth, Northcote House Publishers, p. . 7. Snyder, B. . Music and memory, Cambridge Massachusetts, The Mit Press, pp.  et seq. 8. Schaeffer, P. . Traité des objets musicaux, Paris, Editions Seuil, p. . 9. Chion, M. . Un langage pour décrire les sons, (conférence à Bâle).

The Aim of the Artistic Experiment In order to limit the complexity of studying animated movements and acquire insight into the artistic process of movement creation, we have set up the following experiment. Starting from an analysis of sonorous movement qualities based on a visual score, we asked Silvia Defrance to make an original animation to Webern’s th Bagatelle. Taking the auditive analysis of Webern’s music as her point of reference, Silvia developed the visual vocabulary. Martine Huvenne coached her during the realisation of the visual composition: the visual translation of the sonorous movement qualities required a feeling for dimension and space created by the animated movements. Martine and Silvia also worked together to define the compositional structure of the piece, both in terms of shape and the visual polymovie. Next, Michael Weilacher was assigned with the task of composing an original soundtrack to Silvia’s animation. We will refer to the outcome of the first experiment as Silvia’s Bagatelle, to that of the second as Michael’s Bagatelle. On the basis of this material we propose to build a description of the movement efforts and their development in both animations. We will reveal the traces of the sonorous and visual dynamics in the animated movement, their mutual relationship, and their effect upon the audiovisual composition as a whole. But first one more word about the experiment’s point of departure.

The Choice of Anton Webern’s th Bagatelle (performed by the Juliard String Quartet) Anton Webern’s Bagatelles Opus  is part of what we call atonal music. They are written with a great liberty of pitch variation and they use a poetical grammar. One can no longer predict the ‘melodies’. To the listener the classic logical relations between the parts seem to be lacking. What we get instead is a heightened awareness of the manner in which each note is performed. There is variation in sustained sounds, pizzicatos and glissandos, as well as chords which, in the way they are played and combined, make resound a cosmos of overtones. A single bar may thus become a small composition of its own. In the th Bagatelle, which in the interpretation of the Juliard String Quartet takes no longer than  minute and  seconds, an entire world is evoked, even though we may find it hard to locate its meaning. It is a sonorous aphorism of crystallised movements. It makes the piece well fit for a visual interpretation that will focus on the music’s Efforts.

Silvia’s Bagatelle 10 Silvia has interpreted Webern’s music visually. She has mapped her analysis on a visual score. This allowed her to fix the overall structure of the visually animated composition. Silvia’s method of analysing music auditively was realised through memorising parts of the musical score and putting down on paper the audible movements according to Laban’s terminology. First, Silvia marked the silences. Next, she started working with the Effort that in her view characterised Webern’s piece best: the Dab (sudden, flexible, light). This provided a frame in which individual animations could be integrated. It also served as a starting point to work out the visual vocabulary of the composition. During the following stage, Silvia started to analyse in a more structured way, using periods11 to break down the piece. Concomitant with the use of periods, Silvia created various visual Spaces. Silvia’s animation can be pictured as a kind of moving visual score in real time. But it is more than a mere visible representation of the audible composition: it has autonomy. To translate the sonorous movements of Webern’s composition visually, Silvia has used a technique that combines spontaneous animation in front of the camera with computer manipulation. Silvia’s choice of an abstract calligraphy as the visual vocabulary of the animation was a natural one. Nevertheless, it is striking that Silvia immediately took her own Movement Signature as the animation’s ground. She quickly set out from what she experienced while listening: the Dab. In her own experience, it is very important that the basic energy is there from the start: “The animated brush strokes, for example, show a movement going inside out. It is as if the energy gets spontaneously projected upon the working plane. An additional aspect of this method is that it avoids the design becoming merely 10. The following description can best be read with the visual material on the enclosed dvd at hand. 11. The breakdown of the audiovisual composition into several periods may be compared to the practice of bundling melodies in the classical analysis of music.

decorative. Form is not the prime objective; it is the immediate result of the movement’s energy, which the animator has already incorporated. The previous embodiment of energy enhances one’s awareness of movement and often finds expression in a kind of respiratory rhythm within the movement: an articulation which enables one to read the animation or the direction of the movement more clearly.” In an artistic way, Silvia’s Bagatelle has delivered a first reply to the question whether we can also talk about qualities of sonorous movements. A more systematic study of our empirical data will have to wait for the next stage of the project. Nevertheless, we can already see how the movement of the audiovisual composition as a whole is directed by the dynamic of its constituent parts. period 1. The piece starts with a clear entry opening the musical Space. A slow, gliding sonorous movement, performed quietly and subdued, combines a bit more energy at the moment the pitch modulates. The tempo is slow. It is a music that seems to be timeless and spatial. A spiral-shaped movement supports this movement. It halts a while when the pitch changes, then fades away with the sound. Visually, however, much more is happening: a tableau materialises—a synthesis of the shapes and movements of the visual composition, a kind of visual overture. The visual layer has the upper hand because so much is going on. Yet a more open and candid view is imposed by the music. The first violin’s pizzicato is very soft. The plucking character of a pizzicato is the sonorous interpretation of the Dab Effort par excellence: sudden, light, and flexible. This is clearly a point of reference: the visual and sonorous Efforts converge. Still, it takes a while for the picture to place the Dab. The pizzicato hits the visual image at the moment the Dab ‘touches base’. The sound thus provides the ‘base ground’ of the visual image.12 We can interpret this phenomenon as a sonorous accent reinforcing the sudden placing in time of a visual image. Even though the pizzicato in question resonates in isolation (and materialises as such in Silvia’s Bagatelle), it works in unison with the succeeding pizzicatos, which are all consistently interpreted as Dab movements. Visually, each of them appears in a different corner of the frame. Soon, however, a second continuous layer is added, which disguises their surprising character. This second layer is an audible reference to the preceding sustained and gliding movement. This time, however, there is a marked difference in texture. The notes that are bowed on the bridge of the string instruments evoke a wealth of micro-movements represented visually as a vibrating line. A red line renders the vibrations in seismographic fashion, while a superimposed, black, edgy, and pointed line shapes the angular character of the many tiny stimuli that animate the long and continuous line. The loudness and force of the sonorous movement get a visual answer through the volume of the lines. When the music quiets down, the red line crumbles into a scattered texture. Cohesion has been abandoned. Reminiscences of structure are displayed as a kind of visual resonance in a more diffused layer behind the red line. period 2. A new period sets in with a sustained movement that this time keeps the gliding quality of the movement going and is visually captured by a hazy background. The sonorous movement is intrinsically round and gliding: sustained, light, and with rhythm. It is only towards the end that the movement starts to rise and an accent is added by the alto violin. A sudden visual movement, functioning as a kind of punctuation mark, returns the accent. Visually, the punctuation mark refers back to the Dab, but it gets a different accent in the music (the ‘base ground’), resulting in a movement that is rounder. Several layers embellish this ongoing movement: gliding cross-movements; Spaces opening up; a coiling line that goes its unbroken way and vanishes in a circle. At every turn, the layers respond to auditive impulses. The opening up of Spaces follows the surging dynamic. The pendulum motion in the circle is again a punctuation mark. One visual element holding our attention will fulfil a key part in the composition: the cello’s Dab is interpreted in a distinct way: a greenish, yellow, angular shape accompanied by allusions to previous Dabs. This element heralds the following chapter. The visual layer seems to follow its own logic, linking this period to the next. 12. A preliminary study about Floating clearly shows this confluence of image and sound. Whenever we perceive sound making contact with a surface, it is audible as ‘touching base’. Thus, it appeared to be impossible to imply the quality of Floating in a simple animated image when contact with a surface was audible throughout. This situation altered entirely when, for example, only the movement’s take-off was indicated, followed by a projection of the sound into Space (see example ‘Floating’ on dvd).

period 3. After a short intermission a chord is gradually built up. The last note in a series of three is another pizzicato: it is accentuated by holding on to a moment, a still image (the ‘Chinese sign’). It is a Pressing movement audibly accentuated by a pizzicato and visually resulting in an image that is kept up until it ebbs away with the sound. Even before the sustained line has stopped, a new movement has come into existence. The pizzicato of the cello is accompanied by a glissando towards a fully sounded note. On the screen a clear line corroborates only the sudden character of the pizzicato. The glissando is visualised by a wave-like motion that is swallowed up by a frame. The visible waves link up with regular modulations in the music’s pitch. The entry of the sounds is also the start of a visual movement: the transference of a frame in Space and the visual stress on the frame’s path. A billowing line that sinks into the ever-narrowing frame winds up this movement. The period concludes with a painted Dab, multicoloured and spread large. There is something in the air… period 4. Audibly, the final Dab links up with the first Dab of the piece, not in the least because of its isolated character. The closing period consists of an entry, a short pause and the closure of sounds. The entries of the sounds are used to bring in the tableau again. There is no continuous sonorous movement this time, and visually almost the same is going on. The final pizzicatos get their visual resonance in the extinguishing flashes of the visual elements. Anticipating a more penetrating analysis of the material at hand, a number of striking conclusions may be drawn. Webern’s is a spatial music. Due to the animation’s emphasis on the music’s movement qualities its characteristic dimension of harmonic Space has not been retained in the abstract film. The particular tension between the notes has been partly lost in the visual interpretation, which clearly defines a course. This is also the result of the clarity of the design and the lively Dabs. Silvia has respected the gliding nature of Webern’s music in some layers. At the same time, however, she has followed the lead of tiny details and subtle accents of sound to animate her images. Silvia has given a distinct ABA-structure to the th Bagatelle by entering and closing the composition with the same visual image: the tableau. For the visual vocabulary Silvia has used round, warm shapes, as well as tight and sharp lines, and she has sought colour contrasts. All these elements give a distinct dynamic to the overall composition. We listen differently to Webern’s music without the film tape, which indicates that the image affects the composition. The picture has much more rhythmical elements than the music. Generally speaking, the animation has kept up with the music’s phrasing. The gliding nature of the sonorous movements, however, has been rendered in a number of ways: at one time the dynamic’s rise has been represented through an accumulation of visual elements, at another through movements that are larger, more rapid, and fanciful. The sustained character of the sonorous movements is also interpreted in several distinct ways: a succession of actions resulting in a tableau; a sustained line accompanied by various micro-movements; a piling-up of differing movements which gradually start to connect; the genesis of an image; surfaces that fade in and out. As far as the use of Space is concerned the chief principle of operation has been direction: either through the positioning of the picture towards the frame or through a straight line and its projection into Space. An audiovisual composition has been created in which there is great coherence between the visual and sonorous movements. The visual interpretation provides the frame in which we listen to the music. The sound, in its turn, largely determines the viewer’s pace. Looking and listening are in alteration with each other. Webern’s music is experienced differently with or without the images. First, we are watching a plurality of elements creating the tableau. The next moment, however, we are shaken-up by the sonorous movement: pizzicatos against gliding bows being put down. Tiny accents are stressed by doubling them in the picture. At the moment the Dab is represented in a different colour and shape, a distinct narrative element originates on the screen: the Chinese sign is announced. We are confronted with an immobile image that is clearly defined by the pizzicato, but does not relate to the music’s phrasing. The sonorous movements are interpreted in a succession of actions, which is the reason why we start looking more closely again until, at the end, everything dissolves.

Michaels Bagatelle During the second stage of the experiment composer Michael Weilacher was asked to interpret Silvia’s animation auditively and represent the perceived movement qualities through sound. Here again a more thoroughgoing study of the material will have to wait till later. Still, it should be noted that the same animated movement differs according to the sonorous and visual decisions. Let us again have a look at the results per period. period 1. Space is opened up by a strong beat on the tam-tam that keeps resonating. This sound accompanies the spiral on the screen that comes to a close in the tableau. The shape ebbs away on the reverberations of the cymbals. The force of the entry and the subsequent development of the visual rhythm in the composition catch our attention. Suddenly, little details become prominent and start functioning as a kind of motive. Before the tableau disappears, we notice two short tapping movements left off the frame. Michael emphasises this detail so that it appears to be the onset for the disappearance of the tableau. The audiovisual composition thus acquires a distinct dynamic character. The first Dab has been elaborated in a totally different manner. The music indicates the start of the Dab and stresses the moment when it ‘touches base’. During the visual stillness that ensues the Dabs are linked to each other through the music. Follows a movement that is biting, sudden, light, and in sharp relief with the start of an ongoing and vibrating movement. period 2. This period is characterised visually by a vague backdrop. Accumulating textures of sound, representing the micro-movements, follow the sustained and gliding movement. The music’s current now absorbs all visual elements. The punctuation marks we noticed in Silvia’s Bagatelle have become mere accents, part and parcel of the sonorous whole. Only the green-yellow Dab leaps out as a signal announcing the Chinese sign. This is the start of a rhythmical phrase that will characterise Period . period 3. The resonance of a sound is heard and the answer to the sonorous announcement of the greenyellow Dab ensues. The character of the period is a fairly steady rhythm that combines a plethora of visual elements. This phrase disappears with the start of the wave-like movement in the frame. The cutting tones that accompany the in and out fading surfaces generate a transition to another dimension in Space. They mark a clear break. We are back where we started: Dab and tableau. period 4. The final tableau is almost identical to the one in Period . Michael thus corroborates the ABA-structure of Silvia’s Bagatelle. The entire audiovisual composition of Michael has acquired, in terms of sounding as well as imagery, a closed form. It is clear that the soundtrack determines the audiovisual composition of Michael’s Bagatelle. There are more sonorous accents. The sonorous movement’s energy defines the energy of the viewer. The soundtrack puts more stress on sudden movement qualities and opens up sonorous Spaces through powerful Press movements and their resonance. According to a desultory survey, this has an immediate effect on the viewers/listeners: they are more alert, less carried away by the flux. Also, the abundance of sound colours and the diversity of sonorous movement qualities and textures create impulses that are apparently experienced as pleasant, dynamic, and vivid.

Conclusion When we compare the artistic experiments in Silvia’s Bagatelle and Michael’s Bagatelle music seems to play a crucial role in the way animated movements are experienced and perceived. This seems to apply to isolated audiovisual movements as well as to the entire audiovisual composition. Some pictorial elements only become visual after they have received a sonorous accent and so acquire a different function in the composition. Indeed, the film as a whole is strongly conditioned by the soundtrack. Michael’s Bagatelle starts with a clearly pronounced tempo and rhythm. There is a contrast between the periods and the sound fol-

lows a distinct course throughout the audiovisual composition. In Silvia’s Bagatelle we are looking for the connections between the separate parts: everything is more subdued and subtle. Looking and observing are much more prominent. We are not taken along by the clearly articulated rhythms of Michael’s Bagatelle. In this article we have tried to demonstrate the complexity of our field of research. Our point of departure, Laban’s Theory of Effort, has this advantage that it can be used for the creative process as well as for its description. With regard to the audiovisual composition, it provides a frame of reference to identify intuitive and associative connections between sound and image and to exemplify the decision-making process underlying the creation of movement. The theory’s conceptual sophistication allows one to go into the various ways in which an Effort is shaped: in image, in sound, or in image and sound at the same time. It will be clear that our research still has a long way to go. During the next stages we will develop more artistic material, which will enlarge our comparative data and broaden the scope of our research. Departing from a more extended analysis, based on Deleuze’s theories of film and music, our aim is to achieve a practice-based terminology of the audiovisual composition.

List of Works Cited and Consulted Chion, M. . Un langage pour décrire les sons, (conférence à Bâle). Chion, M. . L’audio-vision, son et image au cinéma, Paris, Nathan, p. . Chion, M. . L’art des sons fixés ou la musique concrètement, Fontaine, Editions Metamkine. Chion, M.. Guide des objets sonore, Pierre Schaeffer et la recherche musicale, Paris, Editions Bucher/Chastel, p.. Deleuze, G. . Cinéma 1: L’image-mouvement, Paris, Editions de Minuit, p. . Hooks, E. . Acting for animators, Porthmouth, Reed. Johnson, J. . Webern and the transformation of nature, Cambridge University Press. Laban, R. . The Mastery of Movement (revised by Lisa Ulmann), Plymouth, Northcote House Publishers, p. . Maletic, V. . Body, Space, Expression, Amsterdam, Mouton de Gruyter, pp. -. Schaeffer, P. . Traité des objets musicaux, Paris, Editions Du Seuil, p. . Sifianos, G. . The definition of animation: a letter from Norman Mc Laren, Animation Journal,  (2), pp. -. Snyder, B. . Music and memory, Cambridge Massachusetts, The MIT Press, p.  et seq.

Martine Huvenne is musicologist and lecturer at the Hogeschool Gent and Sint-Lukas Brussel where she teaches film music. She is writing a PhD on the audiovisual composition at the University of Amsterdam. After her Laban training period under the guidance of Rob Struyf she led a dance lab at KONG vzw, where she conducted a practice-based research into the interaction between music, musical compositions, movement, and movement compositions. Animator Silvia Defrance accomplished digital video work for Flemish radio and television broadcast VRT and is currently working on the medium-length author film ‘Candy Darling and Daddy Cane’ with the support of VAF, Stad Gent and Provincie Oost-Vlaanderen. She has worked for a number of years as guest lecturer at the animation studio of Sint-Lukas Brussel. As a researcher at the Hogeschool Gent, she participates in the artistic research project on movement qualities in the audiovisual composition. Percussionist and composer Michael Weilacher studied at the Eastman School of Music and the Conservatory of Music of Cincinnati (with Al Otte and the Percussion Group Cincinnati) and with Robert van Sice in Amsterdam. Since then he has been performing both as a soloist and as a member of several ensembles (a.o. Zeitklang, Champ d'Action, Ictus, Blindman Quartet) in Europe, North- and Latin America. He was co-initiator of the production for music and theatre Tongues/Savage Love (based on Sam Shepard). In the years past he has developed his own Streetbeats, for which he uses exclusively recuperated materials instead of existing percussion instruments.

Departement Architectuur, Audiovisuele en Beeldende Kunst Koninklijke Academie voor Schone Kunsten