Zwischen den Bildern

Das Forschungsprojekt VRinMotion an der Fachhochschule St. Pölten untersuchte, wie analoge Stop-Motion- und Animationsverfahren in virtuelle Realitäten übertragen werden können. In enger Zusammenarbeit mit internationalen Künstler*innen entstanden vier experimentelle Installationen. Gemeinsam entwickelte das Projektteam künstlerische Ausdrucksformen im immersiven Raum – mit bemerkenswerten Ergebnissen.

Analoge Animation trifft auf virtuelle Realität

Wie lassen sich traditionelle Stop-Motion-Techniken und experimentelle Formen der Animation in die virtuelle Realität übertragen? Mit dieser Frage beschäftigte sich das Forschungsprojekt VRinMotion am Institut für Creative\Media/Technologies der Fachhochschule St. Pölten.

Drei Jahre lang erprobte das interdisziplinäre Forschungsteam in Zusammenarbeit mit internationalen Gastkünstler*innen, wie physische Materialien, Puppenspiel und digitale Technologien in immersiven Räumen neue ästhetische Ausdrucksformen ermöglichen können. Mit VRinMotion leistete das Forschungsteam einen bedeutenden Beitrag zur internationalen Diskussion über Animation in immersiven Medien.

„Mit VRinMotion ist es uns gelungen, eine Brücke zwischen analoger Stop-Motion-Ästhetik und digitaler Immersion zu schlagen. Die entstandenen Arbeiten zeigen, wie stark künstlerische Forschung dazu beitragen kann, virtuelle Räume nicht nur technologisch, sondern auch ästhetisch und sinnlich neu zu denken“, betont Projektleiterin Franziska Proksa, interimistische Leiterin des Instituts für Creative\Media/Technologies an der FH St. Pölten.

Neue Formen künstlerischer Forschung

Im Mittelpunkt stand die Entwicklung von künstlerischen Versuchslaboren bzw. Installationen – den sogenannten ExperiMotions. Diese reichten von der Integration von Cut-out-Animationen in Virtual Reality (VR) über experimentelles Puppeteering mit kinetischen Objekten bis hin zu hybriden Installationen, die physische und virtuelle Elemente verschmelzen lassen.

Historische Medien neu gedacht

Ein besonderes Augenmerk lag auf der Einbindung präkinematografischer Konzepte – frühere Formen visueller Darstellung von Bewegtbildern – in immersive Umgebungen.

In Zusammenarbeit mit der griechisch-österreichischen Medienkünstlerin Anna Vasof entstand eine Reihe von Arbeiten, die historische Bildapparate mit Virtual Reality verbanden. In „Fragmenting Space and Time: Bridging Kinetic Sculptures and Pre-Cinematic Concepts for Virtual Reality“ beschreiben Vasof und das Projektteam wie eine bewegliche Vogelkäfig-Skulptur und Sequenzen – inspiriert von Étienne-Jules Mareys Chronofotografie – in die VR übertragen wurden.

Besucher*innen konnten durch die Installation den Eindruck linear vergehender Zeit als Illusion erleben und wurden selbst Teil des Experiments. Die dabei entstandene Installation „The Cage of Time“ überzeugte sowohl beim Best Austrian Animation Festival in Wien als auch beim FILE Festival in São Paulo 2024 durch ihre einzigartige Verbindung von physischem Objekt und virtueller Erfahrung. 

„Indem wir physische und digitale Welten miteinander verschmelzen, eröffnet The Cage of Time nicht nur ein faszinierendes Erlebnis, sondern regt auch zur Reflexion über Wahrnehmung, Realität und Zeit an“, erklärt Anna Vasof, die als Gastkünstlerin ExperiMotion 3 begleitete. 

Neue Ästhetiken mit Pixilation und VR

Im vierten und letzten Projektabschnitt arbeitete das Team rund um Franziska Proksa gemeinsam mit den Künstlern Paul Wenninger und Raul Maia an der Integration der klassischen Stop-Motion-Technik Pixilation in die virtuelle Realität. Bei Pixilation werden lebende Schauspieler*innen als Bildmotive verwendet, die sich von Bild zu Bild leicht verändern. 

Das im Projekt entstandene Short Paper „Artistic Exploration of a Pixilated Choreography in Virtual Reality: Exploring 3D Gaussian Splatting for Stop-Motion Animation“ dokumentiert, wie mit 35 synchron ausgelösten Kameras und einem neuartigen 3D-Rekonstruktionsverfahren namens „3D Gaussian Splatting“ Animationen von Live-Performer*innen als volumetrischer Film wurden.

Die Ergebnisse eröffnen neue Perspektiven für VR-Erzählungen: Durch die Möglichkeit reale Szenen fotorealistisch in 3D abzubilden entsteht mit der fragmentierten Bewegung der Pixilation ein völlig neuer Ausdruck im immersiven Raum. 

Aufnahme Pixilation mit Paul Wenninger (rechts) und Raul Maia (im Hintergrund) | © FH St. Pölten

„Mich hat besonders fasziniert, dass ich in VR die gewohnte filmische Bildkomposition hinter mir lassen musste. Einerseits erleichtert das den Aufnahmeprozess, andererseits fordert es heraus, das Publikum ohne klassische Kameraführung in die richtige Richtung zu lenken“, so Paul Wenninger, Gastkünstler von ExperiMotion 4. 

AI-generierter vs. Realer Content

Auch wenn volumetrische Videoaufnahmen technisch anspruchsvoll bleiben, zeigen die neuen Methoden das Potential für die Produktion von immersiven Erlebnissen, als auch für klassischen Film. 

„In einer Zeit, in der der filmische Diskurs vor allem von AI-generiertem Inhalt dominiert wird, konnten wir eine Richtung aufzeigen, wie realer Content im immersiven Film der Zukunft verfügbar gemacht werden kann“, betont Matthias Husinsky, FH-Professor am Department für Medien und Digitale Technologien der FH St. Pölten und technischer Leiter von VRinMotion.

„Ohne künstlerische Experimente im Kontext technischer Entwicklungen wäre es nicht möglich den gestalterischen Spielraum sowie die Herausforderungen der neuen Produktionsmethoden auszuloten.“ 

Internationale Sichtbarkeit

Neben internationalen Konferenzbeiträgen und Publikationen konnte das Forschungsteam zahlreiche Auftritte bei Festivals und Symposien verzeichnen – unter anderem bei der Ars Electronica in Linz, dem Animafest Zagreb, dem Best Austrian Animation Festival oder beim FILE Festival in São Paulo 2024.

Damit hat VRinMotion nicht nur neue künstlerische Werkzeuge erprobt, sondern auch einen wesentlichen Beitrag zur internationalen Diskussion über Animation in immersiven Medien geleistet. 

VRinMotion beim Forschungsfest NÖ 2025

Forschende der FH St. Pölten stellen gemeinsam mit dem Künstler Paul Wenninger die Installation TROPE beim Forschungsfest Niederösterreich 2025 vor. Hier können die Zuschauer*innen direkt an einer pixilierten virtuellen Erfahrung teilnehmen, die Realität, Raum und Zeit herausfordert. Gleichzeitig werden auch die Hintergründe und der Entstehungsprozess der Installation beleuchtet. 

Das Forschungsfest Niederösterreich ist ein Event für die ganze Familie und lädt Interessierte ein, in direkten Kontakt mit Wissenschaft und Forschung zu treten. 

• Wann: 10.10.2025, 13:00-21:00 Uhr
• Wo: Palais Niederösterreich, Herrengasse 13, 1010 Wien
• Freier Eintritt! 

Über VRinMotion

VRinMotion wird vom Wissenschaftsfonds (FWF PEEK, AR 669) gefördert. Das Programm zur Entwicklung und Erschließung der Künste (PEEK) fördert innovatives Arts-based Research von hoher Qualität. 

• Mehr Informationen zum Projekt finden Sie auf der Website.
• ▶️ Videos zu den einzelnen ExperiMotions finden Sie am Youtube-Kanal des Forschungsprojekt.
• 🎙️Podcast hören: Campus Talk – Der Podcast der FH St. Pölten: „Animation und VR? Neue Räume, neue Perspektiven!“ mit Franziska Proksa und Matthias Husinsky