Kovács Balázs / Xrc

[ english / magyar ]

Projektek:

Szövegek:

CV

projektek/2021-Websonify.txt

Webaudio alapú szonifikációs megoldások, melyeket egykoron az Újegyetem előadása számára készítettem.



https://makker.hu/szonifikacio/

Ezek egyelőre paraméterleképezéses szonifikációra, azon belül valós idejű lineáris és interaktív megközelítésekre épülnek. Háttérinfóként ajánlom a csatolt prezentációt: https://makker.hu/szonifikacio/prez.html

Lineáris megoldások

A lineáris megoldások praktikus okokból nem teszik lehetővé a kiolvasás sorrendjének változtatását, de a felhasználó befolyásolhatja annak sebességét, a bemeneti adatokat, a hang-megszólaltatás paramétereit stb. A linearitás itt nem egy kényszer, hanem egy kényelmi megoldás az interaktív feltérképezéssel szemben: a felhasználó több figyelmet fordíthat a kimeneti eredményekre és a visszacsatolás vezérlésére. A példáim közül az első kettő nem is igazán képi, abban az értelemben, hogy bemeneti adatai a felhasználó által beírt szövegek; viszont ezek hangzó megjelenítése már a betűk x/y koordinátái, mérete, tehát vizuális információk alapján történik. Mindkét Betűjáték a beírt szöveg betűihez rendel hangzó paramétereket, de az első nagyobb vezérlési lehetőséget enged a felhasználónak az egyes paraméterek vezérlésében, míg a másik önjáróbb e tekintetben.

A Betűjáték 1 és a Betűjáték 2

Szintén lineáris lejátszást de már képi adatokkal valósít meg az a két képszekvenszer, ami a betöltött képek apró darabjait követi végig az x/y koordináták mentén (raszter-szkennelés), és az így kapott pixel-információk (valamely színcsatorna vagy a színezet értékei) használja fel a megszólaltatás alapjául. Az első képszekvenszer ehhez zongora-hangmagasságokat használ, a második pedig színuszhullámokat.

A képszekvenszer 1:

A Képszekvenszer 2:

Interaktív megoldások

Az információk sorrendjének lineáris visszaolvasása helyett a felhasználóra is lehet bízni ezen adatok feltérképezését (exploration) - ebben az esetben sokkal intuitívabb az eszközök használata, ugyanakkor viszont felhasználói aktivitást is igényel, ami bizonyos típusú figyelmet csökkent. Mindegyiket úgy alakítottam ki, hogy a meglévő képek helyett saját file-okat is fel lehet tölteni.

A Képlejátszató az egér/mutató pozícióját figyeli, és ha az a felhasznált kép felett jár, akkor az annak megfelelő képi információt adja vissza:

A Rajzolószekvenszer a felhasználó által kézirajzolt formákat elemzi, és az azokhoz társított adatokat szólaltatja meg olyan módon, hogy a különböző színekhez is más-más hangszíneket rendel. Szintén van lehetőség fotók betöltésére is. (Technikai információ: fel kell nagyítani az oldalt, hogy jobban látható legyen:)

A képi információk helyett ismét alfanumerikus értékeket és azok adatait használja fel a Smarniszonifikátor: a Smarni műhelyhez kialakított csomópont-alapú struktúra felkutatásával, mozgatásával lehet hangokat megszólaltatni. Az alábbi esetben a két műhelyelőadás kulcsszavait és kapcsolatait tartalmazó adatokkal lehet dolgozni: