Ilaria Rosella Pagliaro Lumiere IA, l'innovativa intelligenza artificiale sviluppata da Google in collaborazione con il Weizmann Institute of Science e l'Università di Tel Aviv per creare video realistici da foto e istruzioni testuali
©Lumiere
La collaborazione tra Google, il Weizmann Institute of Science e l’Università di Tel Aviv ha portato alla nascita di Lumiere IA, un modello di intelligenza artificiale avanzato dedicato alla creazione di video partendo da fotografie e comandi testuali. Questo progetto prende il nome dai pionieri del cinema, i fratelli Lumiere, in omaggio alla loro invenzione della macchina da presa e del proiettore cinematografico. La peculiarità di Lumiere IA risiede nella sua capacità di generare movimenti fluidi e realistici dei soggetti nei video, superando le limitazioni tipiche di altri software come Stable Diffusion, noti per le loro imperfezioni nel mantenere coerenza nelle immagini animate.
Google ha introdotto una soluzione tecnologica innovativa per Lumiere IA, denominata “Space-Time U-Net“. Questa architettura, di natura spazio-temporale, è progettata per elaborare l’intero video in un singolo passaggio. A differenza di altri metodi che creano sequenze intermedie, spesso affette da incoerenze, Space-Time U-Net garantisce una continuità fluida e logica tra le azioni. Al centro di questo processo c’è l’intelligenza artificiale generativa, che dopo un’attenta analisi di vari movimenti possibili, seleziona l’opzione più adeguata. Questa scelta è guidata da un vasto database a disposizione dei modelli di Google, permettendo di generare video estremamente realistici.
L’impressionante qualità video e le potenzialità creative di Google Lumiere lo rendono uno strumento accessibile a tutti, anche a chi non possiede competenze specifiche in video digitale o editing. Questo modello offre un controllo completo sui singoli keyframe e sull’intero video, semplificando notevolmente le operazioni di editing. Grazie a Lumiere, è possibile generare video partendo da una singola immagine, mantenendo lo stile grafico e i colori dell’immagine di partenza, un processo definito come generazione stilizzata.
Caratteristiche all’avanguardia
Per esemplificare, prendendo in considerazione il caso di un peluche: inserendo una sua foto in Lumiere e chiedendo al programma di simulare il suo spostamento da un punto A a un punto B, l’IA crea una sequenza unica e armoniosa. In questo modo, ogni movimento è perfettamente sincronizzato e integrato nel contesto del video. L’efficacia di Lumiere IA è ulteriormente dimostrata dal suo addestramento: il modello è stato sviluppato utilizzando un set di dati composto da 30 milioni di video, ognuno accompagnato da didascalie testuali pertinenti.
Con il video inpainting, Lumiere consente di modificare al volo colori di vestiti, oggetti e dettagli, semplificando operazioni che prima richiedevano competenze specifiche. Tuttavia, la facilità d’uso di Lumiere solleva questioni riguardo il rischio di creazione di contenuti falsi o ingannevoli. Di conseguenza, i ricercatori di Google sottolineano l’importanza di sviluppare strumenti per rilevare bias e usi malevoli, al fine di garantire un utilizzo sicuro ed equo della tecnologia. Attualmente, Google Lumiere non è ancora disponibile al pubblico. Il modello è stato addestrato su 30 milioni di video con descrizioni testuali ed è in grado di generare video della durata di cinque secondi a una risoluzione di 1.024 x 1.024 pixel.
Non vuoi perdere le nostre notizie?
- Iscriviti ai nostri canali Whatsapp e Telegram
- Siamo anche su Google News, attiva la stella per inserirci tra le fonti preferite
Fonte: Lumiere
Ti potrebbe interessare anche:
