Un sistema di intelligenza artificiale per l'audio editing nei video

Un sistema di intelligenza artificiale per l’audio editing nei video

Il Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT ha sviluppato un sistema di intelligenza artificiale che riconosce e isola il suono dei singoli strumenti nei video.

Intelligenza artificiale e machine-learning stanno cambiando anche la musica. Il MIT ha sviluppato un sistema di deep-learning in grado di individuare ogni strumento suonato in un video e isolarne lo specifico suono.

Il sistema, chiamato “PixelPlayer”, è stato addestrato su oltre 60 ore di video di musicisti che suonavano diversi strumenti. Con l’addestramento Pixelplayer è stato in grado di identificare i pixel associati alle immagini di ogni specifico strumento e ad estrarre i suoni associati a quei pixel. Il sistema permette così di variare il volume di uno specifico strumento che ci interessa ascoltare e persino di alterarne il suono.

Il sistema di intelligenza artificiale, però, è ancora lontano dall’essere perfetto: al momento può identificare i suoni di oltre 20 strumenti e ha ancora problemi a distinguere quelli che hanno un suono simile (ad es. viola e violino).

Con un ulteriore sviluppo, potrebbe diventare un efficace strumento di editing audio, ad es. per migliorare o ripristinare la qualità di vecchi filmati di concerti. Oppure per modificare l’audio dei singoli strumenti di una colonna sonora con un solo clic sul video. Potrebbe anche essere usato per addestrare robot su come identificare vari suoni ambientali, come quelli prodotti da animali, veicoli ed elettrodomestici.

 

Fonte