St. Poelten University of Applied Sciences

AllThatSounds – assoziative, semantische Erschließung von Audiodaten

#Institut für Creative\Media/Technologies #Auftragsforschung

Im Rahmen der 2. FHplus Ausschreibungsrunde gewann die Fachhochschule St. Pölten wieder ein Kooperationsvorhaben. „AllThatSounds“ vereinfacht das Finden von relevanten Audiodaten für den einzelnen User.

Spezielle Features von AllThatSounds unterstützen vor allem Musik-, Medien- oder Werbeproduzenten bei der Suche nach Musik, Drumloops und Soundeffekten – und zwar solche, die am besten zum Image, zur Stimmung und zum Inhalt des Produkts passen.

Relevanz

Nachfrage und Angebot an digital gespeicherter Musik haben innerhalb weniger Jahre sprunghaft zugenommen. Dabei haben die Anzahl, stilistische Vielfalt und Qualität digital verfügbarer Sounddateien ein unüberschaubares Ausmaß erreicht. Effektive Ansätze für die Suche nach Audiodaten spielen dabei eine entscheidende Rolle. Bei herkömmlichen Verfahren müssen einige Eigenschaften der Musik (z.B. Interpret, Titel, etc.) bereits vor der Suche bekannt sein. So bleibt vieles unentdeckt, worauf früher der persönliche Berater im Plattengeschäft noch hingewiesen hätte.

Persönliche, kulturelle und soziale Differenzen

Auch eine Suche nach semantischen Kriterien, die sich mehr an menschlichen Hörgewohnheiten als an technischen Beschreibungen und Begriffen des Musik-Marketings orientieren, ist bisher kaum möglich. Anfragen nach Musik zum Entspannen, für Begräbnis oder Hochzeit, Produktpräsentation oder Horrorfilm etc. scheiterten bisher schon allein deswegen, weil mit diesen Suchbegriffen vielfach Unterschiedliches assoziiert wird – ob aufgrund persönlicher Geschmäcker oder kultureller und sozialer Herkunft. Häufig bleibt gerade bei der Suche nach den „besten Sounds" für ein Medienprodukt noch vieles dem Zufall überlassen.

Methoden

In der ersten Projektphase stehen eine umfassende Recherche und die Evaluierung von Algorithmen zur Extraktion musikalischer bzw. semantischer Parameter im Vordergrund. Auf intensiven Austausch mit internationalen Forschungseinrichtungen wird dabei großer Wert gelegt. Im Anschluss wird an der Weiterentwicklung, Optimierung und Anpassung der speziellen Anforderungen von „AllThatSounds" gearbeitet. Wichtig ist dabei der permanente Austausch mit potentiellen Anwendern, der u.a. auch zu neuen Erkenntnissen über spezielle Hörgewohnheiten und musikalische Semantik führen soll.

Mehrdimensionale Kategorisierung

„AllThatSounds" setzt vor allem auf Vergleich und Verknüpfung unterschiedlicher Methoden zur Kategorisierung von Audiodaten und hebt sich in diesem Punkt von den meisten vergleichbaren Ansätzen ab. Aus Metadaten, Userverhalten, User-Profilen und automatischer Extraktion von musikalischen und semantischen Parametern werden mehrdimensionale Merkmalsvektoren erstellt. Ein speziell für „AllThatSounds" entwickeltes User-Interface ermöglicht schließlich das rasche Auffinden relevanter akustischer Ereignisse.

Bedeutung für den Lehrbetrieb

Zentrale Themen von „AllThatSounds“ wie Webtechnologie, Audioanalyse, digitale Audiobearbeitung, Semantik von Schallereignissen und deren Einsatz im Medienkontext sind zentrale Aspekte des Studiengangs „Telekommunikation und Medien". Das Projekt ermöglicht den Einstieg in ein aktuelles und überaus relevantes Forschungsgebiet sowie die gründliche Aufarbeitung der Grundlagenforschung für zukünftige Anwendungen und die entsprechende Vermittlung in der Lehre.