Ma i fan non dovrebbero aspettarsi un attacco dei cloni vocali, afferma il CEO della società di clonazione vocale
Se hai mai visto uno spettacolo di Star Wars su Disney Plus, ci sono buone probabilità che tu abbia familiarità con il lavoro della startup tecnologica Respeecher, che tu te ne renda conto o meno. La piattaforma di clonazione vocale dell’azienda ucraina basata sull’intelligenza artificiale ha fornito la performance vocale di Mark Hamill sia in The Mandalorian che in The Book of Boba Fett, nonché per un personaggio non ancora identificato in Obi-Wan Kenobi. Lucasfilm ha chiesto a Respeecher di mantenere segreto il nome di quel personaggio per ora e con così tanti veterani del franchise che tornano per la serie, di certo non mancano potenziali candidati.
Viaggio247 ha parlato con il CEO di Respeecher Alex Serdiuk per comprendere meglio un processo che per molti fan senza dubbio rasenta il sacrilegio: utilizzare la tecnologia per creare performance interamente su misura per uno (o forse anche due) dei personaggi più iconici della saga di Star Wars. Sin dall’inizio, Serdiuk sottolinea l’elemento umano dietro la piattaforma stessa. “Con la nostra tecnologia e i nostri servizi, possiamo creare una copia digitale di una voce particolare e consentire a un’altra persona di parlare con questa voce”, spiega. “E quindi abilitiamo [studios] per ridimensionare le voci, per invecchiare le voci e persino far risorgere le voci per alcuni progetti.
Quindi, lontano dall’immagine mentale evocata da termini come “intelligenza artificiale” e “clonazione vocale”, quella di un tecnico del suono che esegue linee di dialogo attraverso un algoritmo informatico che poi sputa file audio. Il lavoro di Respeecher su Star Wars è sorprendentemente guidato dalle prestazioni. Anche se lo stesso Darth Vader ora può essere più una macchina che un uomo, se la startup ucraina sta fornendo la sua voce (e ricorda, abbiamo detto “se”) l’essenza della voce del personaggio è ancora in carne e ossa.
Immagine: Lucasfilm
“Non esiste ancora l’IA, e non credo che esisterebbe, che ci permetterebbe di usarla solo chiavi in mano per creare la performance che desideriamo creare. […] Abbiamo bisogno di un’altra voce umana [to provide] input perché quella voce umana dà tutte le inflessioni, l’accento, lo stile del discorso e il ritmo che l’IA non è brava a creare”, insiste Serdiuk. Aggiunge: “Il nostro sistema richiede una performance su input, quindi può essere realizzato dalla stessa persona che viene de-invecchiata, ad esempio, o da qualcun altro. […] Ci vuole tutta la performance, tutta la recitazione da quella che chiamiamo una “voce sorgente”, e poi facciamo la conversione”.
Inoltre, la pipeline di Respeecher consente ad attori come Hamill di registrare diverse riprese proprio come farebbero su un set reale, che gli esperti della compagnia possono poi modificare alla fine sulla base delle note di showrunner come Jon Favreau o registi come Deborah Chow.
“Con progetti in studio e film potrebbero registrare migliaia di riprese per ogni riga, e ciò significa che dovremmo convertirle tutte [into the younger voice], rispedirli indietro e magari inviare versioni diverse perché prima addestravamo modelli diversi con configurazioni diverse”, afferma. “E a volte abbiamo anche bisogno di soddisfare le aspettative creative in modo che possano semplicemente dirigerci, puoi provare a fare [a line reading] suona un po’ di più così? e lavoreremo per farlo suonare un po’ più come chiedono.
Quindi, l’obiettivo finale è quello di ricreare una performance tradizionale attraverso mezzi non tradizionali, nel caso di The Mandalorian o The Book of Boba Fett, come se le battute di Hamill fossero in qualche modo trasmesse direttamente dal set di Star Wars: Il ritorno dello Jedi del 1983? “L’obiettivo è far sembrare che sia stato registrato ieri in studio dalla voce di destinazione”, concorda Serdiuk.
Naturalmente, c’è ancora il rischio con la tecnologia di clonazione vocale come quella di Respeecher che la performance sintetizzata che produce suoni artificiale, anche se gli spettatori non sono del tutto sicuri del perché. Serdiuk ammette persino che la voce devecchiata di Hamill suona “molto, molto meglio” in The Book of Boba Fett rispetto a The Mandalorian, grazie a piccoli ma significativi miglioramenti nel modo in cui il modello AI di Respeecher è stato “addestrato” per emulare la voce dell’attore. Allo stesso tempo, il CEO si affretta a sottolineare che mentre molti fan si sono lamentati degli effetti visivi usati per ritrarre il ventenne Luke Skywalker nel finale di The Mandalorian, pochi si sono resi conto dello Jedi MasterAnche la voce di ‘s era sintetica fino a quando Lucasfilm non ha versato i fagioli in uno speciale “making of” della Disney Gallery diversi mesi dopo.
Serdiuk afferma che la convincente voce de-invecchiata di Hamill in The Mandalorian e The Book of Boba Fett era tanto più impressionante considerando la qualità delle risorse ereditate che Respeecher ha ricevuto da Lucasfilm. “Quella [data] era piuttosto vecchio, quindi avevamo qualcosa dai nastri, abbiamo qualche vecchia registrazione ADR, qualcosa da un videogioco”, ricorda Serdiuk. “E il fatto è che devi addestrare questi dati nel tuo modello per consentirgli di produrre la qualità di output che si adatterebbe a una produzione moderna. In molti progetti che coinvolgono l’invecchiamento o la resurrezione [performer’s voices]questa potrebbe essere la sfida principale perché la mancanza di dati e la qualità dei dati introducono ulteriori blocchi in termini di suono buono”.
Il CEO di Respeecher sostiene che ne è valsa la pena superare questi ostacoli legati ai dati, ora che i pesi massimi del settore come Lucasfilm hanno abbracciato il lavoro che fanno. “[We] partì con l’idea di costruire un discorso sintetico [platform] al livello in cui sarebbe passato attraverso ingegneri del suono e studi di Hollywood e sarebbe arrivato in grandi produzioni. Quindi, quando accettano il nostro suono, quando dicono qualcosa di buono sul suono che siamo stati in grado di produrre – ed è una sfida tecnica molto complicata e pesante, fare un discorso sintetizzato al livello in cui sarebbe indistinguibile da una registrazione reale – in questi casi, ci incoraggia davvero e ci aiuta a crescere”, dice.
Ho detto a Serdiuk che la crescente accettazione della tecnologia di clonazione vocale potrebbe significare che gli studi non ricorrono più a soundlike di talento per sostituire gli attori defunti. Ad esempio, Rogue One: A Star Wars Story – in cui Guy Henry ha imitato la voce del compianto Peter Cushing nei panni del Grand Moff Tarkin – non sarebbe il tipo di progetto che atterrerebbe automaticamente sulla scrivania di Respeecher ora? Non necessariamente, secondo Serdiuk, che vede la tecnologia di clonazione vocale di Respeecher come una delle numerose opzioni praticabili a disposizione dei registi.
Il governatore Tarkin osserva la Morte Nera Immagine: Lucasfilm/Disney
“Ci sono sempre visioni diverse di come dovrebbero accadere le cose nel settore e i fan hanno pensieri diversi su come dovrebbero accadere. Non lo direi [Respeecher] è molto adatto per essere in carica o giudice [which approach is best],” lui dice. Serdiuk ha anche chiarito che se la Lucasfilm avesse mai chiesto a Respeecher di ricreare la voce di un attore morto, la compagnia lo avrebbe fatto solo con l’approvazione del patrimonio di quell’attore. E mentre la risposta di Serdiuk per ora metterà a proprio agio i doppiatori, il fatto che Lucasfilm sia un cliente abituale di Respeecher suggerisce che la startup ha intrapreso una strada seria per la tecnologia di clonazione vocale.
In effetti, Serdiuk ha già una visione per il futuro di Respeecher che va oltre le voci degli attori svecchiati, anche se rimane fermamente convinto che ciò che la compagnia ha pianificato amplierà gli orizzonti creativi dei registi, non li ridurrà. Parla della democratizzazione della tecnologia in modo che gli studi cinematografici e televisivi più piccoli e gli sviluppatori di videogiochi possano utilizzarla per allungare ulteriormente i propri budget. Parla anche con entusiasmo delle rivoluzionarie applicazioni sanitarie della piattaforma di Respeecher, citando anche un caso in cui la compagnia sta collaborando con un doppiatore che ha perso la voce per consentire loro di esibirsi di nuovo.
Eppure guardare al futuro non significa che Serdiuk abbia perso di vista cosa significa per Respeecher essere parte di una certa opera spaziale ambientata molto tempo fa in una galassia molto, molto lontana. “È qualcosa di speciale. Voglio dire, fai parte di questa storia. Possiamo giustamente dire che Star Wars ha aperto parecchio terreno a Hollywood, giusto? Hanno sconvolto l’industria, dal punto di vista tecnico, fin dall’inizio, e il modo in cui realizzano i loro film è eccezionale. Quindi, è un grande onore poter lavorare con queste persone e imparare da loro”.