Kdo igra?

Avtor: Uredništvo, Objavljeno: 31. 05. 2023 05:00:00, Kategorija: Zvok in slika

Znanstveniki razvijajo sistem, ki bo omogočal spreminjanje glasbe kar znotraj videospota.

Kdo igra?
Zamislite si, da ste glasbenik in da ste s svojo skupino posneli videospot vašega nastopa v živo. Tak, amaterski, kjer ste se morali zanašati le na to, kar posname kamera in ne na ločene zvočne vhode za vsak inštrument in mešalno mizo. Rezultat je sicer lahko kolikor toliko dober, a verjetnost, da bo tako, je precej majhna. Uspeh je namreč odvisen od akustike prostora, postavitve kamere, kakovosti mikrofona in še kaj bi se našlo.

Kaj pa, če bi obstajal način, kako na posnetku zvok naknadno popraviti? Recimo tako, da se zvok enega inštrumenta okrepi, drugega utiša, izreže kakšno piskanje ali napaka in podobno. Ideja je sicer odlična, izvedba pa vse prej kot preprosta. Izdelati je namreč potrebno sistem, ki bo iz enotnega zvoka znal izluščiti posamezni inštrument, katerega zvok potem lahko obdelamo.

In prav to je uspelo znanstvenikom univerze MIT, točneje laboratorija CSAIL (Computer Science and Artificial Intelligence Laboratory). Izdelali so sistem umetne inteligence, imenovan PixelPlayer, ki zna ta trenutek ločiti zvok dveh inštrumentov, ki jih je nato mogoče obdelati in vrniti nazaj v posnetek. Pri tem je zanimivo to, da sistem zazna inštrumente samodejno preko kombinecije video in zvočnega zapisa - če na primer v videu nekdo sedi na levi in igra violino, nekdo na desni pa kitaro, sistem to zazna in iz slike izlušči zvok vsakega inštrumenta posebej. Ta povezava video-zvok omogoča, da v videu kliknemo glasebnika in predvajal se bo le zvok, ki ga oddaja njegovo glasbilo.

Zadeva je ta trenutek še precej groba, saj zvok ni ravno zelo kakovosten, sistem pa deluje le z dvema zvokoma/inštrumentoma, a vedeti je treba, da gre šele za prve korake. V nadaljevanju bodo ločevanje zvokov izboljšali, omogočili pa tudi podporo več kot dvema inštrumentoma.


Vir: MIT CSAIL

preberite še to

Zvok in slika
Samsung na sejmu IBC 2023 v Evropi predstavil The Wall  za virtualno produkcijo
Zvok in slika
Izgubljeni »Pojej!«

Izgubljeni »Pojej!«

Najdena testna različica videa Eat It, parodije, ki jo je leta 1984 »spesnil« Weird Al Yankovic.

Zvok in slika
»Dune 2« prestavljen

»Dune 2« prestavljen

Na akcijsko nabito nadaljevanje bo treba počakati štiri mesece dlje od napovedi.

Zvok in slika
»Strojna dela« ne morejo biti avtorsko zaščitena

»Strojna dela« ne morejo biti avtorsko zaščitena

Sodnica v ZDA je odločila, da del, ki jih je ustvarila umetna inteligenca, ni mogoče avtorsko zaščititi...

Zvok in slika
Da se glasba ne bo izgubila

Da se glasba ne bo izgubila

V okviru projekta Great 78 so glasbeni zanesenjaki digitalizirali več kot 40.000 gramofonskih plošč, na...

Zvok in slika
Mačji Titanik

Mačji Titanik

Tale zamenjava Kate Winslet z muco je… dokaj posrečena…

Zvok in slika
SeeColors – za ljudi, ki jih pesti barvna slepota

SeeColors – za ljudi, ki jih pesti barvna slepota

Samsung v seriji televizorjev in monitorjev 2023 predstavlja način SeeColors, ki izboljša izkušn...

Zvok in slika
Kdo najlepše pove?

Kdo najlepše pove?

Od legend ima največji besedni zaklad Patti Smith, od sodobnih pa Billie Eilish…

Zvok in slika
Imate superjahto?

Imate superjahto?

Če jo in imate na njej prostor za tale supertelevizor, potem o ceni zagotovo ne sprašujete.

Zvok in slika
Kdo igra?

Kdo igra?

Znanstveniki razvijajo sistem, ki bo omogočal spreminjanje glasbe kar znotraj videospota.

Zvok in slika
Kako so filmi napovedovali prihodnost

Kako so filmi napovedovali prihodnost

Prav zanimivo je primerjati ideje, ki so jih imeli filmarji o tem, kako bo videti prihodnost in jih primerjati...

Zvok in slika
Še tri tedne do novega Flasha

Še tri tedne do novega Flasha

Izšel je zadnji napovednik filma The Flash