I ricercatori della NCSU riferiscono di progressi nella creazione di immagini tramite l’intelligenza artificiale
Data di pubblicazione:di Matt Shipman – 3 giugno 2021 .
I ricercatori della North Carolina State University hanno sviluppato un nuovo metodo all’avanguardia per controllare il modo in cui i sistemi di intelligenza artificiale (AI) creano immagini. Il lavoro ha applicazioni in campi che vanno dalla robotica autonoma alla formazione sull’intelligenza artificiale.
In questione c’è un tipo di attività di intelligenza artificiale chiamata generazione condizionale di immagini, in cui i sistemi di intelligenza artificiale creano immagini che soddisfano una serie specifica di condizioni. Ad esempio, un sistema potrebbe essere addestrato a creare immagini originali di gatti o cani, a seconda dell'animale richiesto dall'utente. Tecniche più recenti si sono basate su questo per incorporare le condizioni relative al layout dell'immagine. Ciò consente agli utenti di specificare quali tipi di oggetti desiderano che appaiano in punti particolari sullo schermo. Ad esempio, il cielo potrebbe trovarsi in una scatola, un albero potrebbe trovarsi in un'altra scatola, un ruscello potrebbe trovarsi in una scatola separata e così via.
Il nuovo lavoro si basa su queste tecniche per offrire agli utenti un maggiore controllo sulle immagini risultanti e per mantenere determinate caratteristiche in una serie di immagini.
“Il nostro approccio è altamente riconfigurabile”, afferma Tianfu Wu, coautore di un articolo sul lavoro e assistente professore di ingegneria informatica presso NC State. “Come gli approcci precedenti, il nostro consente agli utenti di fare in modo che il sistema generi un’immagine basata su uno specifico insieme di condizioni. Ma il nostro ti consente anche di conservare quell'immagine e di aggiungerla. Ad esempio, gli utenti potrebbero chiedere all'intelligenza artificiale di creare una scena di montagna. Gli utenti potrebbero quindi fare in modo che il sistema aggiunga gli sciatori a quella scena."
Inoltre, il nuovo approccio consente agli utenti di fare in modo che l’intelligenza artificiale manipoli elementi specifici in modo che siano identificabili gli stessi, ma si siano spostati o modificati in qualche modo. Ad esempio, l’intelligenza artificiale potrebbe creare una serie di immagini che mostrano gli sciatori che si girano verso lo spettatore mentre si muovono attraverso il paesaggio.
Ricevi le notizie più importanti nella tua casella di posta ogni pomeriggio
"Un'applicazione potrebbe essere quella di aiutare i robot autonomi a 'immaginare' come potrebbe essere il risultato finale prima di iniziare un determinato compito", afferma Wu. “Potresti anche utilizzare il sistema per generare immagini per la formazione sull’intelligenza artificiale. Quindi, invece di compilare immagini da fonti esterne, potresti utilizzare questo sistema per creare immagini per addestrare altri sistemi di intelligenza artificiale”.
I ricercatori hanno testato il loro nuovo approccio utilizzando il set di dati COCO-Stuff e il set di dati Visual Genome. Basato su misurazioni standard della qualità dell'immagine, il nuovo approccio ha sovraperformato le precedenti tecniche all'avanguardia di creazione di immagini.
"Il nostro prossimo passo è vedere se possiamo estendere questo lavoro ai video e alle immagini tridimensionali", afferma Wu.
La formazione per il nuovo approccio richiede una discreta potenza di calcolo; i ricercatori hanno utilizzato una workstation a 4 GPU. Tuttavia, l’implementazione del sistema è meno costosa dal punto di vista computazionale.
"Abbiamo scoperto che una GPU offre velocità quasi in tempo reale", afferma Wu.
“Oltre al nostro documento, abbiamo realizzato il nostro codice sorgente per questo approccio disponibile su GitHub. Detto questo, siamo sempre aperti a collaborare con partner del settore”.
La carta, "GAN riconfigurabili di layout e stile per la sintesi di immagini controllabili”, viene pubblicato sulla rivista Transazioni IEEE su Pattern Analysis e Machine Intelligence. Il primo autore dell'articolo è Wei Sun, un recente dottorato di ricerca. laureato presso lo Stato NC.
Il lavoro è stato sostenuto dalla National Science Foundation, con le sovvenzioni 1909644, 1822477, 2024688 e 2013451; dall'ufficio di ricerca dell'esercito americano, con la sovvenzione W911NF1810295; e dall'Amministrazione per la vita comunitaria, con la sovvenzione 90IFDV0017-01-00.
Fonte originale: WRAL TechWire