Description
| - Projekt má za cíl využít velmi rozsáhlá neanotovaná multimodální data, převážně videozáznamy, k významnému posunu stavu poznání v oblasti porozumění, interpretace, anotace a vyhledávání obrazových sekvencí, řečového signálu a přirozeného jazyka a to kombinací metod založených na učení bez učitele. Zaměří se na problémy, které jsou z pohledu jedné modality velmi těžko řešitelné a využije interdisciplinárního přístupu. Pokrok v jednotlivých oborech (vidění, řeč, jazyk) bude dosažen kombinací metoda a zejména křížovým učením, kdy výstup jedné z modalit bude zdrojem trénovacích dat druhých modalit. Za účelem efektivního zpracování velkých souborů dat všech modalit, se projekt také zaměří na obecné problémy organizace, indexace a vyhledávání na základě podobnosti, což má velký význam při budování skutečných aplikací. Konsorcium se skládá z mezinárodně uznávaných pracovišť, dosahujících špičkové výsledky. V projektu. dojde k přenosu znalostí, metodologií a řešených problémů. Kromě vědeckých výstupů ve formě publikací budou výstupem projektu dva demonstrátory (cs)
- The project aims at exploiting large collections of unlabeled multi-modal data, mainly video footage, to further state-of-the-art in video, audio and natural language understanding, interpretation, annotation and retrieval by combining unsupervised and semi-supervised learning. It will address problems that are very difficult (some probably impossible) to solve in a single modality by adopting an interdisciplinary approach. Progress in individual areas - vision, language and speech will be achieved by co-training and by exploiting results of other modalities as cross-training data. For efficient processing of large data collections, the project will also concern generic problems of organization, indexing, and searching based on similarity that is critical for building real-life applications. The consortium comprises internationally-recognized groups possessing cutting edge expertise in the research areas. The project will benefit from sharing of expertise, data, and methodologies. Besides scientific results presented in publications, two demonstrators will be produced. (en)
|