Zien met je oren!

De laatste jaren zijn er allerlei nieuwe dingen bedacht om beperkingen van de menselijke zintuigen te overwinnen. Zo is er veel vooruitgang geboekt bij de ontwikkeling van technologie die het lezen en schrijven door blinden ondersteunt, bijvoorbeeld via Braille leesregels en automatische spraaksynthese op PC's. Zelfs zijn er grote vorderingen gemaakt bij het toegankelijker maken van grafische computeromgevingen, zoals Microsoft Windows. Helaas is er tot nu toe heel wat minder bereikt op het gebied van hulpmiddelen voor oriëntatie en mobiliteit. Blindenstok en geleidehond blijken moeilijk te overtreffen. Maar als je nu over een apparaat zou kunnen beschikken dat echt willekeurige beelden in geluiden kan omzetten? Dan zou je dus in principe met je oren moeten kunnen zien!? Dat is de mogelijkheid die op deze grotendeels Engelstalige website verder wordt uitgewerkt en onderzocht.

Een blinde vormt zich een mentaal beeld vanuit het geluidspatroon voor een willekeurig beeld
[Vertaling: image = beeld, sound = geluid, blind person = blinde, mental image = mentaal beeld]

Hoe werkt dat dan, die omzetting van beeld in geluid?

In de hier beschreven aanpak - met als Engelse bijnaam The vOICe [the voice = de stem] - wordt eerst een electronische foto onderverdeeld in bijvoorbeeld 64 rijen en 64 kolommen, dus in totaal geeft dat 64 maal 64 is 4096 beeldelementen (pixels). Grijswaarden worden beperkt tot 16 grijstinten. Vervolgens worden de beeldelementen kolom voor kolom vertaald in geluid. Hooggelegen beeldelementen in een kolom geven hoge tonen, en laaggelegen beeldelementen lage tonen. Ofwel, hoe hoger in het beeld, hoe hoger de tonen. En verder: hoe helderder een beeldpunt, hoe harder de bijbehorende toon klinkt. Alle beeldelementen in een beeldkolom klinken tegelijk, wat enigszins vergelijkbaar is met een muziekakkoord. Bij opeenvolgende kolommen verandert dan meestal dit "akkoord", omdat verschillende kolommen verschillende beeldinformatie bevatten. Dus een compleet beeld kan in geluid worden vertaald door van links naar rechts alle kolommen met hun bijbehorende "akkoorden" af te lopen. Elke seconde wordt weer een nieuwe electronische foto genomen en omgezet in geluid.

Rechte lijn op donkere achtergrond Afzonderlijke heldere beeldpunten klinken simpelweg als korte piepjes, waarbij de toonhoogte en stereo effect aangeven wat de positie van ieder beeldpunt is. Het geluid van een heldere schuine lijn op een donkere achtergrond, lopend van linksonder naar rechtsboven, zou klinken als een enkele toon, waarvan de toonhoogte geleidelijk stijgt, totdat de toonhoogte een sprong omlaag maakt op het moment dat het beeld herhaald gaat worden. Een beeld met twee heldere lijnen geeft twee tonen met variabele toonhoogte, enz. Willekeurige beelden worden zo omgezet in bijbehorende geluidspatronen. [time = tijd; pitch = toonhoogte; tone = toon; beep = piepje]

Er is ook een "maar" bij dit alles: een grote trainingsinspanning zal nodig zijn om de geluidspatronen van normale beelden te leren interpreteren. Het zou vergelijkbaar kunnen zijn met het aanleren van een vreemde taal. Sterker nog, het is momenteel niet bekend in welke mate mensen - en in het bijzonder natuurlijk blinden - kunnen leren om de geluidspatronen waar te nemen, te begrijpen en nuttig toe te passen.

Windows software
Software voor Microsoft Windows

De nieuwste ontwikkeling is een (Engelstalige) gratis software versie die op een gewone PC kan draaien, en die beelden van een goedkope digitale camera verwerkt tot hifi stereo geluiden voor de hoofdtelefoon. De drempel om met The vOICe te leren werken is nog nooit eerder zo laag geweest! Wie durft de uitdaging aan? Wie wordt de allereerste mens die kan zien met zijn of haar oren?

Of wat te denken van KPN's "mobiele geleidetelefoon" (blindentelefoon) die niet alleen dankzij spraaksoftware geheel toegankelijk is, maar middels een (Engelstalige) mobiele camera telefoon versie van The vOICe nu via de camera ook kleuren herkent en omgevingsbeelden in geluid weergeeft?

Nederlandstalige artikelen:

Op 2 juli 2003 besprak Herbert Blankesteijn The vOICe software in NRC Handelsblad in een artikel "Zien met geluid" (gratis registratie; of zie het persoonlijk archief van Herbert Blankesteijn).

Nederlandstalige radio- en televisie-uitzendingen:

Op 11 juni 2003 wijdde cabaretier Vincent Bijlo zijn column op Teleac/NOT Radio in het programma TeleScoop Actueel aan The vOICe. Deze radio 747 AM uitzending is online te beluisteren met RealOne/RealPlayer via de link Vincent Bijlo's column in TeleScoop Actueel (duur: ongeveer 5 minuten).

Op 28 juni 2003 besprak Herbert Blankesteijn The vOICe software op Teleac/NOT Radio in het programma TeleScoop Actueel, samen met Ingrid Drissen en Willem Jan Hagens. Deze radio 747 AM uitzending is online te beluisteren met RealOne/RealPlayer via de link Circus Blankesteijn: Hoeveel vingers steek ik op? (duur: ongeveer 11 minuten).

Op 19 december 2004 werd The vOICe gedemonstreerd in het populair-wetenschappelijke programma Hoe?Zo! van Teleac/NOT, Nederland 1, 21:35u - 22:20u, gepresenteerd door Bart Peeters en met deelname van Gerda Havertong en Jetty Mathurin. Beide kandidaten identificeerden de beeldgeluiden correct. Het fragment over The vOICe is online te bekijken met Windows Media Player via de 340 Kbps streaming video link Kijken met je oren, kan dat? voor gebruik met Microsoft Media Player (duur: ongeveer 4.5 minuten). Met dank aan Robbert-Jan Metselaar ( DDTV) en Manfred Mittelstaedt. Herhaling op 3 april 2005, 17:25u - 18:10u, Nederland 1.

Wetenschappelijke literatuur (Engelstalig):

P.B.L. Meijer, ``An Experimental System for Auditory Image Representations,'' IEEE Transactions on Biomedical Engineering, Vol. 39, No. 2, blz. 112-121, februari 1992. Dit artikel werd uitgekozen voor herdruk in het 1993 IMIA Yearbook of Medical Informatics, blz. 291-300.

Nederlandstalige website voor blinde computergebruikers: BlinfoTec (Rob Melchers)


http://www.seeingwithsound.com/voicenl.htm

Zien met geluid

Herbert Blankesteijn

Door een tip van een kennis heeft Beet een wonderbaarlijk stuk software leren kennen, gemaakt door een Nederlander in zijn vrije tijd en gratis verkrijgbaar op internet. Het gaat om een programma waarmee blinden kunnen zien - het is nauwelijks overdreven het zo te stellen. Er schijnen blinden te zijn die er 'ziend' mee over straat lopen.

Het heet The vOICe ('Oh, I See') en het is niet nieuw. De maker, Philips-onderzoeker dr. Peter Meijer, heeft sinds 1998 werkende versies online staan. The vOICe zet een computerbeeld volgens bepaalde regels om in geluid. Wie die regels kent en de moeite neemt er ervaring mee op te doen, kan met zijn gehoor beelden herkennen.

De regels zijn simpel. Elk beeld wordt van links naar rechts gescand in een tijd die ingesteld kan worden, en die standaard een seconde bedraagt. Wat je eerst hoort, is links in beeld en de laatste klanken van de seconde komen van rechts. Het programma versterkt dit door het geluid bovendien van links naar rechts te laten trekken in het stereobeeld.

Wat laag in beeld zit, veroorzaakt een lage toon, en hoog in beeld klinkt hoog. Standaard is de laagste toon 500 Hz en de hoogste 5000, maar ook dit is instelbaar. Verder maakt wit een hard geluid, zwart is stilte en grijs zit daar tussenin. We horen dus in zwartwit.

Hoe je hiermee een beeld kunt weergeven en interpreteren is het beste duidelijk te maken met een paar eenvoudige voorbeelden. Een schematische letter A bijvoorbeeld levert een duidelijk herkenbare stijgende en weer dalende toon op, met het dwarsstreepje als een korte toon van constante hoogte. (Om een rechte lijn omhoog te kunnen onderscheiden van een kromme heb je waarschijnlijk veel ervaring nodig.)

Het bijbehorende geluid (tweemaal)

Twee witte vierkanten, een laag links in beeld en een rechts hoog:

Het bijbehorende geluid (tweemaal)

Hierbij valt op dat een wit vlak geen zuivere toon is maar een 'stapel' toonhoogtes. Zo zijn lijnen en vlakken van elkaar te onderscheiden. Bij deze foto van het Witte Huis zijn in het geluidsbeeld duidelijk de pilaren in de voorgevel te horen.

Het bijbehorende geluid (tweemaal)

Dit is natuurlijk nog lang geen zien, maar met flink wat oefening is het mogelijk wijs te worden uit aangeboden visuele informatie. Een gevallen blindenstok zal lijken op een diagonale lijn. Veel meer voorbeelden zijn te horen in het radioprogramma Telescoop Magazine, in de uitzending van zaterdag 28 juni die online valt te beluisteren.

Deze manier van kijken verschilt van bijvoorbeeld het gebruik van sonar, ook een mogelijk hulpmiddel voor blinden. Sonar verstuurt geluid en luistert naar de echo. Dat geeft diepte-informatie, en dat is bij de methode van The vOICe niet het geval. The vOICe daarentegen is toe te passen op foto's en computerbeelden. Een beperking is, dat je met The vOICe niet kunt lezen. Maar daar zijn, stelt Meijer terecht op zijn site al goed werkende voorzieningen voor in de vorm van software voor letterherkenning, brailleregels en tekst-naar-spraaksystemen. Op Meijers site is The vOICe te downloaden en iedereen kan het programma zelf loslaten op al dan niet zelfgemaakte plaatjes, om na te gaan wat voor beelden wat voor geluiden opleveren. Met een webcam op de computer kun je zelfs om je heen horen. Deuren, gordijnen, ramen en lamellen zijn goed te herkennen omdat het ongeoefend oor weinig moeite heeft met het ratelende effect van verticale structuren.

Wie een draagbare computer uitrust met een webcam en een koptelefoon opzet kan ermee de straat op. Daarbij is het essentieel dat de camera aan het hoofd is gekoppeld, zodat de drager weet waar hij naar kijkt. Op Meijers site staan getuigenissen van blinden die stellig zeggen er een visuele ervaring mee te hebben. Het wachten is op een versie die gekoppeld kan worden aan een zakcomputer.http://home.hccnet.nl/h.blankesteijn/index/2003/Nrc/Beet/086%20030702%20Zien%20met%20geluid.htm

Zien met geluid
Door een tip van een kennis heeft Beet een wonderbaarlijk stuk software leren kennen, gemaakt door een Nederlander in zijn vrije tijd en gratis verkrijgbaar op internet. Het gaat om een programma waarmee blinden kunnen zien - het is nauwelijks overdreven het zo te stellen. Er schijnen blinden te zijn die er 'ziend' mee over straat lopen.


* Overzicht - Beet

Het heet The vOICe ('Oh, I See') en het is niet nieuw. De maker, Philips-onderzoeker dr. Peter Meijer, heeft sinds 1998 werkende versies online staan. The vOICe zet een computerbeeld volgens bepaalde regels om in geluid. Wie die regels kent en de moeite neemt er ervaring mee op te doen, kan met zijn gehoor beelden herkennen.

De regels zijn simpel. Elk beeld wordt van links naar rechts gescand in een tijd die ingesteld kan worden, en die standaard een seconde bedraagt. Wat je eerst hoort, is links in beeld en de laatste klanken van de seconde komen van rechts. Het programma versterkt dit door het geluid bovendien van links naar rechts te laten trekken in het stereobeeld.

Wat laag in beeld zit, veroorzaakt een lage toon, en hoog in beeld klinkt hoog. Standaard is de laagste toon 500 Hz en de hoogste 5000, maar ook dit is instelbaar. Verder maakt wit een hard geluid, zwart is stilte en grijs zit daar tussenin. We horen dus in zwartwit.

Hoe je hiermee een beeld kunt weergeven en interpreteren is het beste duidelijk te maken met een paar eenvoudige voorbeelden.



Een schematische letter A bijvoorbeeld levert een duidelijk herkenbare stijgende en weer dalende toon op, met het dwarsstreepje als een korte toon van constante hoogte. (Om een rechte lijn omhoog te kunnen onderscheiden van een kromme heb je waarschijnlijk veel ervaring nodig.)

Geluidsfragment: linea.mp3



Twee witte vierkanten, een laag links in beeld en een rechts hoog:

Geluidsfragment: squares.mp3

Hierbij valt op dat een wit vlak geen zuivere toon is maar een 'stapel' toonhoogtes. Zo zijn lijnen en vlakken van elkaar te onderscheiden.



Bij deze foto van het Witte Huis zijn in het geluidsbeeld duidelijk de pilaren in de voorgevel te horen.

Geluidsfragment: whitehouse.mp3



Dit is natuurlijk nog lang geen zien, maar met flink wat oefening is het mogelijk wijs te worden uit aangeboden visuele informatie. Een gevallen blindenstok zal lijken op een diagonale lijn. Veel meer voorbeelden zijn te horen in het radioprogramma Telescoop Magazine, in de uitzending van zaterdag 28 juni die online valt te beluisteren www.telescoop.nl.

Deze manier van kijken verschilt van bijvoorbeeld het gebruik van sonar, ook een mogelijk hulpmiddel voor blinden. Sonar verstuurt geluid en luistert naar de echo. Dat geeft diepte-informatie, en dat is bij de methode van The vOICe niet het geval. The vOICe daarentegen is toe te passen op foto's en computerbeelden. Een beperking is, dat je met The vOICe niet kunt lezen. Maar daar zijn, stelt Meijer terecht op zijn site www.seeingwithsound.com al goed werkende voorzieningen voor in de vorm van software voor letterherkenning, brailleregels en tekst-naar-spraaksystemen. Op Meijers site is The vOICe te downloaden en iedereen kan het programma zelf loslaten op al dan niet zelfgemaakte plaatjes, om na te gaan wat voor beelden wat voor geluiden opleveren. Met een webcam op de computer kun je zelfs om je heen horen. Deuren, gordijnen, ramen en lamellen zijn goed te herkennen omdat het ongeoefend oor weinig moeite heeft met het ratelende effect van verticale structuren.

Wie een draagbare computer uitrust met een webcam en een koptelefoon opzet kan ermee de straat op. Daarbij is het essentieel dat de camera aan het hoofd is gekoppeld, zodat de drager weet waar hij naar kijkt. Op Meijers site staan getuigenissen van blinden die stellig zeggen er een visuele ervaring mee te hebben. Het wachten is op een versie die gekoppeld kan worden aan een zakcompute

Abstract - This paper presents an experimental system for the conversion of images into sound patterns. The system was designed to provide auditory image representations within some of the known limitations of the human hearing system, possibly as a step towards the development of a vision substitution device for the blind. The application of an invertible (1-to-1) image-to-sound mapping ensures the preservation of visual information.

The system implementation involves a pipelined special purpose computer connected to a standard television camera. The time-multiplexed sound representations, resulting from a real-time image-to-sound conversion, represent images up to a resolution of 64 × 64 pixels with 16 grey-tones per pixel. A novel design and the use of standard components have made for a low-cost portable prototype conversion system having a power dissipation suitable for battery operation.

Computerized sampling of the system output and subsequent calculation of the approximate inverse (sound-to-image) mapping provided the first convincing experimental evidence for the preservation of visual information in the sound representations of complicated images. However, the actual resolution obtainable with human perception of these sound representations remains to be evaluated.

hele paper te zien op http://www.seeingwithsound.com/voicebme.html