Cílem projektu je podpořit systémy používající rozpoznávání mluvené řeči rozpoznáváním vizuálním a na výsledek aplikovat metody vyhledávání informací. Multimodální audio-vizuální rozpoznávání bude aplikováno na úlohu rozpoznávání znakové řeči a na podporu vyhledávání informací z video a audio nahrávek. Zkoumaným jazykem je čeština. Při rozpoznávání se budou řešit tři dílčí úlohy: audio rozpoznávání spojité mluvené řeči, vizuální rozpoznávání mluvené řeči a spojení či kombinace audio-vizuálních metod (klasifikátorů). V případě znakové řeči je cílem i syntéza znakové řeči počítačem. Předpokládáme, že výsledek nakonec umožní překlad znakové řeči do mluveného slova. Přitom bude použito již hotové technologie kvalitní počítačové syntézy vyvinuté na pracovišti navrhovatele. Metody rozpoznávání budou následovány metodami vyhledávání informace, které dokáží identifikovat obsah promluvy i z nepřesně rozpoznané posloupnosti slov. V úlohách překladu budou uplatněny metody komputační lingvistiky. (cs)
The aim of the proposed project is to support audio speech recognition systems with visual recognition and apply information retrieval method on the recognition results. Multimodal audio-visual recognition will be employed in the task of sign language recognition and used to support information retrieval from video and audio recordings. The language we are interested in is Czech. Three tasks will be solved during recognition: audio continuous speech recognition, visual speech recognition, and audio-visual methods (classifiers) merging or combination. In case of sign language the objective is also the sign language synthesis. We suppose that we will be able to implement the sign-language-to-speech translation. High quality speech synthesis already developed at UWB will be used. Recognition techniques will be followed with information retrieval to enable talk content identification even from non-perfectly recognized word sequences. Computational linguistics will be used for translation. (en)