CINECA IRIS Institutional Research Information System
IRIS è l'Anagrafe della ricerca dell'Università degli Studi di Trento, e ha lo scopo di raccogliere, documentare, conservare e diffondere, anche ad accesso aperto, la produzione scientifica degli autori afferenti all'Università degli Studi di Trento.
EnglishThis paper introduces Click to Move (C2M), a novel framework for video generation where the user can control the motion of the synthesized video through mouse clicks specifying simple object trajectories of the key objects in the scene. Our model receives as input an initial frame, its corresponding segmentation map and the sparse motion vectors encoding the input provided by the user. It outputs a plausible video sequence starting from the given frame and with a motion that is consistent with user input. Notably, our proposed deep architecture incorporates a Graph Convolution Network (GCN) modelling the movements of all the objects in the scene in a holistic manner and effectively combining the sparse user motion information and image features. Experimental results show that C2M outperforms existing methods on two publicly available datasets, thus demonstrating the effectiveness of our GCN framework at modelling object interactions. The source code is publicly available at https://github.com/PierfrancescoArdino/C2M.
Click to Move: Controlling Video Generation with Sparse Motion / Ardino, P.; De Nadai, M.; Lepri, B.; Ricci, E.; Lathuiliere, S.. - (2021), pp. 14729-14738. ((Intervento presentato al convegno 18th IEEE/CVF International Conference on Computer Vision, ICCV 2021 tenutosi a Virtual nel 2021 [10.1109/ICCV48922.2021.01448].
Scheda prodotto non validato
I dati visualizzati non sono stati ancora sottoposti a validazione formale da parte dello Staff di IRIS, ma sono stati ugualmente trasmessi al Sito Docente Cineca (Loginmiur).
| Titolo: | Click to Move: Controlling Video Generation with Sparse Motion | |
| Autori: | Ardino, P.; De Nadai, M.; Lepri, B.; Ricci, E.; Lathuiliere, S. | |
| Autori Unitn: | ||
| Titolo del volume contenente il saggio: | Proceedings of the IEEE International Conference on Computer Vision | |
| Luogo di edizione: | Virtual | |
| Casa editrice: | Institute of Electrical and Electronics Engineers Inc. | |
| Anno di pubblicazione: | 2021 | |
| Codice identificativo Scopus: | 2-s2.0-85127815298 | |
| ISBN: | 978-1-6654-2812-5 | |
| Handle: | http://hdl.handle.net/11572/341652 | |
| Citazione: | Click to Move: Controlling Video Generation with Sparse Motion / Ardino, P.; De Nadai, M.; Lepri, B.; Ricci, E.; Lathuiliere, S.. - (2021), pp. 14729-14738. ((Intervento presentato al convegno 18th IEEE/CVF International Conference on Computer Vision, ICCV 2021 tenutosi a Virtual nel 2021 [10.1109/ICCV48922.2021.01448]. | |
| Appare nelle tipologie: | 04.1 Saggio in atti di convegno (Paper in proceedings) |
File in questo prodotto:
Copyright © 2022