Suite à l’émission de France Inter « Sur les épaules de Darwin, La forme des mots », j’ai décidé d’expérimenter un peu avec la conversion d’images en sons par transformée inverse de fourier.

Pour cela, j’ai utilisé le logiciel ARSS, un peu vieillot, mais qui fait ce qu’il a à faire.

Commençons par un petit exemple, transformons l’image de la formule de cette fameuse transformée en son avec la commande :

arss -g 1 -s -min 27.5 -max 20000 -r 44100 -f 16 -p 100 ifft.bmp ifft.wav

Inverse fft Fichier OGG

À l’écoute du son généré, on constate immédiatement certains motifs qui sont répétés, on en vient donc à une des parties de l’émission, la reconnaissance de formes à partir du son.

On peut essayer avec un alphabet et une police avec serif, cette fois on utilisera le flag -l afin d’obtenir une échelle de fréquence linéaire. En regardant le spectrogramme correspondant au fichier audio, on retrouve bien nos lettres. L’image a été générée à l’aide de Ceres3. Alphabet Fichier OGG Alphabet retrouvé depuis le fichier son

Avec un peu d’entraînement, on distingue plutôt bien les différentes lettres les unes des autres. Après quelques essais avec du braille, il est un peu difficile de faire la distinction dès que plus de 3 sons sont mélangés. Il faudrait un peut être un autre type d’encodage.

Essai avec du braille Fichier OGG

On peut reconnaître des formes simples : Formes géométriques simples Fichier OGG

Ou des paysages (les images proviennent de Flickr : 1 2), qui ont été traîtés dans Gimp avec les outils de détection de contour (dans ce cas là « Edge »): Paysage traîté avec reconnaissance des bords Fichier OGG (Paysage 1) Un autre paysage traîté avec reconnaissance des bords Fichier OGG (Paysage 2)

On peut réaliser assez vite des échantillons complexes avec des effets graphiques (ici le plugin Qbist de Gimp) : Image synthétique Fichier OGG

On peut écouter des données extraites d’un spectromètre de masse (intensité de 5 ions d’un extrait de sarments de vigne en HPLC-MS) : Représentation graphique d'une acquisition HPLC Masse Fichier OGG

Sinon quelques musiciens se sont amusés avec ça (Aphex Twin, Plaid, Venetian Snares, NIN…): Bastwood, The best thing I learned today, Twisted sifter

Une boîte, SeeingWithSound commercialise des lunettes utilisant ce principe pour permettre aux aveugles de percevoir ce qu’il y a en face d’eux.