Soundscapes, the shape of sounds

Soundscapes, the shape of sounds

' Wat ik wil doen is een compositie bouwen '
Kurt Schwitters over het 'MERZBAU' project.

Als het voorgaande artikel 'e.motionspace' de perceptieve en cognitieve modaliteiten van de electronishe ruimte in verband bracht met het zicht, en meer bepaald met cinematografische technieken zoals montage en camerabewegingen, dan verkent het thema 'Soundscapes' het eigeneschappen van het medium in verband met de relatie tussen geluid, beeld en plaats. Dit artikel wil de nieuwe mogelijkheden die het electronische medium ons biedt, op gebied van geluid, het visuele en het ruimtelijke en welbepaald hun omzettingsvormen, onderzoeken. Een geluidsobject kan een afbeelding of een ruimte, die getoond worden op een computerscherm, bepalen en omgekeerd kan een afbeelding of een voorwerp ook een klank bevatten. Het gaat hier om een bi-univocale omzetting van vormen, een gedaanteverandering bepaald door geprogrammeerde relaties die totaal verschillen van deze gebasseerd op metaforen of analogie.


Digitale technieken herleiden alle informatie naar een basiseenheid, een binair signaal, een noodzakelijke vorm binnen de inFORMatie processen van de computatie (het formuleren van informatie), de communicatie (de overdracht van informatie) en editie (het opslaan an informatie). Deze informatieprocessen, het coderen - decoderen, hebben dus de behoefte aan hun eigen programmeertalen, vastgelegd in het schema van de verwerking van de data -code/taal - inFORMatie. Een van de belangrijkste eigenschappen van het digitale medium is de reductie van alle informatie naar een binair signaal, als het nu gaat om een afbeelding, een tekst, een ruimte of een plaats - alle gegevens worden opgeslagen als een digitale sequensie die de verwerking (formalisering, organisatie) d.m.v. programmeertalen, en de netwerkcommunicatie d.m.v. een verzendingsprotocol toelaat. Het is dus het medium dat door middel van zijn logica en inFORMatieprocessen de informatie zowel op structureel als op semantisch niveau, vereenigd.


De complexificatie en de vermenigvuldiging van codes en tekens door de verbeterde verwerkings mogelijkheden en systemen van informatie behandeling, kan tevens gezien worden als de aanduiding van een historisch verschuiven van de notie van hypertekst naar die van hypermedia, een relatie tussen taal en teken, doorheen hun logica en verwerking naar hun eigen specifieke codes. Spreken over een hypermedia is hetzelfde als deze programmatische relatie binnen een ruimtelijk en temporele structuur, tussen de gegevens en de informatie, dus ook tussen de verschillende types van vormgeving, tekstueel, visueel, sonoor… , te plaatsen. De uniformisatie van de informatie op het niveau van de gegevens, brengt ons ook, doorheen de logica ontleend aan informatieprocessen, naar een verandering van codes en tekens, dit is dus naar de precieze eigenschap van de informatie zelf. Zoals de codes tegenwoordig verschijnen in de hypermedia gaan ze vooral een analogie tussen de media vooraf, waar het digitale medium zelf niets voorafgaat behalve 'programmatische/informationele' zaken.


'' Twee : alles rondom ons kan voorgesteld and begrepen worden aan de hand van cijfers .
Drie : als je de cijfers van om het even welk systeem grijpt, verschijnen er patronen.''
Citaat uit de film " Pi ", van Darren Aronofsky http://www.pithemovie.com

In dit geval gaat het niet over een het maken van interconnecties gebasseerd op verbanden, maar over de transductie zelf van een media naar een ander. Deze mogelijke interrelatie tussen de verschillende media, gebasseerd op een abstract systeem van cijfers en de transductie van basiseenheden, geeft computer- en communicatietechnologiën echt de status geeft van hypermedia. Deze overgang moet nietemin beschreven worden door een programmatie (een gestructureerde taal) die nodig is om een basisrelatie tussen de media te verwezelijken. Het is dus een kwestie van abstractie en toewijzing van de basiseenheden volgens een semantisch systeem,en programmeertaal die bijvoorbeeld toelaat dat de frequentie van een klank kan vertaald worden naar een coördinaat van ruimte, kleur van beeld…


In verband met het " soundscape " thema kunnen sinusgolven gezien worden d.m.v. apparaten zoals oscilloscopen en computers. De materialen van geluid, gemodeleerd als sinusgolven, beschreven door nummers, worden zichtbaar. Een compositie kan gereduceerd worden tot een relatie tussen de noten, en een wijzigende geluidssterkte doorheen de tijd. De noten kunnen om het even wanneer gereduceerd worden tot een som van sinusgolven en op deze manier omgezet worden in cijfers. Aan Deze cijfers kunnen kleuren en ruimtelijke coordinaten toegekend worden. Wanneer de kleuren of de topografie getoond worden, wordt de muziek zichtbaar en ruimtelijk gemaakt. Tegenwoordig kan dankzij de technologie, een muzikaal moment vastgelegd, beschreven in cijfers, geschetst worden in kleur en ruimte. Er ontstaat visuele muziek. Luister met je ogen.


Als we kunstwerken beschouwen, zoals bijvoorbeeld dat van Kandinsky tijdens het Bauhaus, die de muziek van Schönberg probeerde te schilderen om zo een verband tussen geometrische vormen en kleur te bereiken. En Piet Mondriaan zijn BoogieWoogie schilderij waarin hij jazzritmes gezien vanuit zijn venster in New York, trachtte op doek vast te leggen met een geometrisch systeem van kleuren dat speelde met het oog van de toeschouwer. Dan gaat het hier eerder om empirische dan om wetenschappelijke experimenten, eerder om een interpretatie volgens artistieke codes en de modaliteit van het waarnemen zelf, al was het objectief het vastleggen en gebruiken van een universele code. Vandaag laten de informatieprocessen toe dit soort kunstwerken te verspreiden, waardoor ze geopenbaard worden aan nieuwe expressie vormen, zoals deze van de hypermedia. Binnen deze verscheidene combinaties, wordt de taak zodoende een interconnectie systeem op punt te zetten, gedragingen toe te kennen, en zo het kunstwerk het statuut van fundamenteel onderzoek te geven, waardor esthetica verbonden wordt met wetenschap.


Het is dus door de verwerking van informatie dat het tekensysteem ( code / taal ) en daardoor de manier van perceptie / cognitie veranderd. De computatie leidde tot een vermenigvuldiging van uitdrukkingswijzen en een complexificatie van het gebruik van tekens, wat het onderzoek naar nieuwe codes, waarvan de visuele, sonore en ruimtelijke constructie helemaal coherent is aan het medium -de programmatische relaties- vereist.

Sonic space

'esthetica begint als patronen van cognitie'
Friedrich Kittler in Literature, media, information systems 1997 page 130

Over de electronische ruimte spreken is over de ervaring van een minder fysieke dan mentale en cognitieve ruimte spreken; over de stimulatie van ons zenuwstelsel en daardoor het beïnvloeden van gedragingen. Het gaat dus over een nieuwe defenitie van ruimte, meer en meer verwijderd van zijn directe materiele inscriptie, meer en meer afhankelijk van parameters van transmissie en verwerking ( die de parameters zoals zwaartekracht, afstand… vervangen ). De constructie van ruimte wordt hierdoor een systeem gebasseerd op het programeren van acties, gedragingen, en communicatie tussen de ruimte, de objecten en de gebruiker. Electronische ruimte ervaren is dus werken met deze spatio-temporele structuren in samenhang met de cognitieve en mentale processen en de manier waarop deze onze acties beïnvloedendoor perceptie/cognitie.


Het was de uitvinding van de stereofonie op het einde van de jaren '60 die op een overtuigende manier leidde tot het waarnemen van ruimte doorheen geluid. We zien in het begin van de jaren '70 al dat de virtuele realiteit makkelijk gecreeerd kan worden, tenminste op een akoestische manier. Zelfs de tastbare kwaliteiten van opgenomen geluid, en in het bijzonder de ruimtelijke eigenschappen waren zo 'echt' dat het helemaal mogelijk werd ruimtes, lichamen en bewegingen te simuleren enkel door het gebruik van het gehoor.

" Soundscape " is de studie van systematische relaties tussen mensen en akoestische omgevingen, en wordt gevormd vanuit bewuste en subliminale waarnemingen van de luisteraar. De analyse van een soundscape wordt gebasseerd op cognitieve en waarneembare zaken zoals ; voor, achter, contour, ritme, stilte, densiteit, ruimte en volume welke worden afgeleid van analytische concepten zoals noot, geluidsgebeurtenis, geluidsteken, geluidsobject en geluidssignaal. De soundscapes zijn niet alleende de organisatie van geluid in de tijd, maar wel de organisatie van een matrix van akoestische, visuele, gedragings en andere patronen en hun ruimtelijke uitdrukking.


De gekozen voorbeelden stellen een groot aanbod voor van de mogelijkheden die het onderzoek van sonore ruimtes verbinden met kunst, architectuur en technologie. Ze verkennen de muziek als een sociaal gebeuren gebonden aan tijd en ruimte en als cultureel onderzoeksplatform om op een esthetische manier de semiologie van de digitale matrix te bepalen.

http://lab-au.com/files/doc/a10b.htm


1. audiovizualizers

http://www.audiovisualizers.com
http://www.audiovisualizers.com/toolshak/vsynths.htm

Ondanks zijn voorkomen is bevat deze site een schat aan voorbeelden van werken van de jaren 60 tot nu, die te maken hebben met het visualiseren van geluid. Gaande van werken zoals deze van Xenaxis bij IRCAM, tot de werken van Mandelbrot en de mathematica van fractalen. Dit is een mooie inleiding, en een goede bron van informatie voor wie graag het brede terrein van de visualisatie en de spatialisatie van geluid wil verkennen.

Gelijkaardige sites:
http://vhost2.zfx.com/comm/scanimate/tajchman1.html
http://www.deas.harvard.edu/~jones/cscie129/images/snd_vis/snd_vis.html

2. The Shape of Song

http://www.turbulence.org/Works/song

Helemaal binen de logica van de 'audiovisualizers', onderzoekt deze interface, geconcipieerd door de multimedia artiest Martin Wattenberger ( auteur van o.a. het bekende 'map of the market') de relatie tussen sonore en visuele structuren. De interface vertaalt muzikale motieven , identieke passages, repetities naar doorzichtige bogen die de bezoeker toelaten letterlijk de vorm van een compositie in de tijd de zien. De site toont muziekvorbeelden ( van Beethoven tot Philip Glass ), en laat de bezoekere terzelfdertijd toe zijn eigen midi ( een geluidsformaat ) in te voeren en zo het visueel procces te zien en te analyseren.



3.The vOICe

http://ourworld.compuserve.com/homepages/Peter_Meijer/javoice.htm

" Zien met geluid, zien met je oren !"dit is de slogen van de "the vOICe" site, die aan iedere bezoeker voorstelt zijn eigen beeld van 64x64 pixels in 16 grijswaarden te tekenen en onmiddelijk te horen hoe deze 'soundscape' klinkt. De verschillende verwezenlijkingen voorgesteld op de site van Peter Meijer, onderzoeker in de laboratoria van Philips in Eindhoven, stellen een hele reeks toepassingen voor gebasseerd op deze interface: de systematische analyse van een afbeelding, lijncomposities, het maken van geluidsanimaties tot interfaces voor blinden.

4. the bot

http://plagiarist.org > the bot

Een 'bot', de afkorting van robot, is een computerprogramma gemaakt voor het bijeenzoeken van informatie op Internet, en is de basis voor zoekmachines zoals Yahoo en Altavista. Dit type van 'bot' is ook gekend als 'spider' die het net doorkruist en document per document analyseert volgens bepaalde links en sleutelwoorden, de meta- informatie. Het 'bot' webproject gebruikt deze technologie. Wanneer de bezoeker een sleutelwoord inbrengt, begint de 'bot' een zoektocht waarin hij alle corresponderende teksten de een na de ander voorleest. Zo geeft het project een beluisterbare lezing van de verschillende netwerkruimtes volgens de logica van interconnecties en het vertalen van meta-informatie naar een verhalende stem.

5. Space in Veda

http://www.shift.jp.org/banner/ > exonemo
Exonemo http://www.exonemo.com

'Space in Veda' werd door de japanse groep Exonemo ontwikkelt in het kader van de expositie 'mind the banner', georganiseerd door het online-tijdschrift 'Shift' . Het project start van het standaard formaat van de 'banner' (publicitaire vensters) om de eigen specifieke plaats op het scherm te gebruiken om een klank te genereren aan de hand van de x en y waarde van een sinuscurve. Het verplaatsen van de vensters , hetzij door een vooraf bepaalde animatie, hetzij door de interactie van de bezoeker, veroorzaakt zo een geluidscompositie. Deze 'windows composition' geeft een goede lezing van de schermruimte als een sonore matrix.

6. Electrica

http://electrica.leonid.de/cgi-bin/index.cgi

'Electrica' is een experimenteel duits 'laboratorium', gericht op de interactiviteit op het web. De 'audioactieve' interface is opgevat als een eerbetoon aan het 'electrisch' sonore universum, en stelt een interactieve reis voor doorheen de vibrerende atmosfeer van een verlaten electriciteitscentrale uit de jaren '30, ontworpen door een architect van het Bauhaus in Jena in het oosten van Duitsland. Deze site is niet alleen een grafische en akoestische illustratie van een bepaalde architectuur, maar verkent aan de hand van visuele codes de geprogrammeerde logica van het geluid.

7. the central city

http://www.stanza.co.uk/ > central city

'The central city' is een geluidsomgeving geconcipieerd door de engelse multimedia kunstenaar 'Stanza' die onder de vorm van een interatieve ervaring een collage van geluiden, multi-soundtracks en een grafisch stedelijk universum voorstelt. Ondanks hun vaak metaforische taal baseren deze verschillende ervaringen zich allemaal op de navigatie en interactie als generators van geluid en schermruimte.


8. sPACE, navigable music

http://www.lab-au.com/space

Het concept van het sPACE project is gebasseerd op geprogrameerde relaties en op het principe van de recombinatie van gegevens om zo interacties tussen geluid, kleur, beeld, tekst en ruimte toe te laten. Het principe van het project is de verwerking van gegevens gebonden aan de interactie met de electronische ruimte (-xyz- et mouvement -t) die geluids, visuele en ruimtelijke instructies vormen om zodanig soundscapes, navigeerbare muziek, te vormen. Op deze manier mengt elke gebruiker door 'real time' te navigeren in de electronische ruimte, geluid, kleur en beeld, een interactie bepaald tijdens het navigeren zelf die een akoestische geanimeerde architectuur bindt aan ruimte, beeld en muziek in één enkel medium.



9.stagging strategies

http://www.p5-berlin.de/stagingStrategiesE/index.htm

Hoe neemt een gebruiker deel aan een electronische wereld die niet 'mimetisch' is? Uitgaande van deze vraag onderzocht de duitse groep 'programme 5' met 'staging strategies' de visualisatie van processen in de electronische ruimte, om zo de nodige sensuele ervaringen voor het bouwen ervan te vinden. Uiteindelijk stellen de verschillende voorgestelde ruimtes aan de gebruikers verschillende interacties met de omgeving en zijn objecten, gebonden aan de ruimte, de vorm en het geluid, op een communicatieve of comportementele manier, voor.