Kdo igra?

Avtor: Uredništvo, Objavljeno: 31. 05. 2023 05:00:00, Kategorija: Zvok in slika

Znanstveniki razvijajo sistem, ki bo omogočal spreminjanje glasbe kar znotraj videospota.

Kdo igra?
Zamislite si, da ste glasbenik in da ste s svojo skupino posneli videospot vašega nastopa v živo. Tak, amaterski, kjer ste se morali zanašati le na to, kar posname kamera in ne na ločene zvočne vhode za vsak inštrument in mešalno mizo. Rezultat je sicer lahko kolikor toliko dober, a verjetnost, da bo tako, je precej majhna. Uspeh je namreč odvisen od akustike prostora, postavitve kamere, kakovosti mikrofona in še kaj bi se našlo.

Kaj pa, če bi obstajal način, kako na posnetku zvok naknadno popraviti? Recimo tako, da se zvok enega inštrumenta okrepi, drugega utiša, izreže kakšno piskanje ali napaka in podobno. Ideja je sicer odlična, izvedba pa vse prej kot preprosta. Izdelati je namreč potrebno sistem, ki bo iz enotnega zvoka znal izluščiti posamezni inštrument, katerega zvok potem lahko obdelamo.

In prav to je uspelo znanstvenikom univerze MIT, točneje laboratorija CSAIL (Computer Science and Artificial Intelligence Laboratory). Izdelali so sistem umetne inteligence, imenovan PixelPlayer, ki zna ta trenutek ločiti zvok dveh inštrumentov, ki jih je nato mogoče obdelati in vrniti nazaj v posnetek. Pri tem je zanimivo to, da sistem zazna inštrumente samodejno preko kombinecije video in zvočnega zapisa - če na primer v videu nekdo sedi na levi in igra violino, nekdo na desni pa kitaro, sistem to zazna in iz slike izlušči zvok vsakega inštrumenta posebej. Ta povezava video-zvok omogoča, da v videu kliknemo glasebnika in predvajal se bo le zvok, ki ga oddaja njegovo glasbilo.

Zadeva je ta trenutek še precej groba, saj zvok ni ravno zelo kakovosten, sistem pa deluje le z dvema zvokoma/inštrumentoma, a vedeti je treba, da gre šele za prve korake. V nadaljevanju bodo ločevanje zvokov izboljšali, omogočili pa tudi podporo več kot dvema inštrumentoma.


Vir: MIT CSAIL

preberite še to

Zvok in slika
Kdaj je idealen čas za nakup novega televizorja?

Kdaj je idealen čas za nakup novega televizorja?

Kdaj kupiti, da boste za svoj denar dobili najboljše, kar lahko...

Zvok in slika
Od kod jim odlomki?

Od kod jim odlomki?

Ste se kdaj vprašali, od kod v reklamah odlomki iz filmov s točno določenimi besedami?

Zvok in slika
Kako se gleda Vojna zvezd?

Kako se gleda Vojna zvezd?

Filmov na temo Vojna zvezd je bilo že veliko, zaradi dogajanja v njih pa je vrstni red gledanja precej pomembe...

Zvok in slika
Kaj pa vi slišite?

Kaj pa vi slišite?

Po internetu zadnje dneve ponovno kroži zvočni posnetek, za katerega se ne ve ali glas v njem reče »Yann...

Zvok in slika
Kaj pravijo?

Kaj pravijo?

Gluhi možak je pred časom tožil PornHub zaradi pomanjkanja – podnapisov.

Zvok in slika
Štiri strašne note

Štiri strašne note

Kaj imajo skupnega filmi Levji kralj, Vojna zvezd in Čudovito življenje?

Zvok in slika
Digitalni Forrest

Digitalni Forrest

V filmu Forrest Gump je bilo precej več posebnih učinkov kot bi si mislili…

Zvok in slika
Najstarejša pesem na svetu

Najstarejša pesem na svetu

Nastala naj bi okoli leta 1400 pred našim štetjem, slišati pa je takole.

Zvok in slika
Če bi Terminator bil Stallone…

Če bi Terminator bil Stallone…

Nekdo je prvega Terminatorja s tehnologijo deepfake zmešal do obisti… in rezultat je… čud...

Zvok in slika
Tako se je vse začelo

Tako se je vse začelo

Testni posnetek, v katerem Harrison Ford in Mark Hamill kandidirata za Vojno zvezd.

Zvok in slika
Samsung in Marimekko združila moči

Samsung in Marimekko združila moči

Promocijska vsebina
Samsung in finska oblikov...