Erster Platz beim MediaEval Benchmark 2014

Erster Platz beim MediaEval Benchmark 2014

Matthias Zeppelzauer vom Institut für Creative\Media/Technologies hat am "Social Event Detection Task" des MediaEval Benchmarks teilgenommen und den ersten Platz erreicht.

System für den Social Event Detection Task 

Das Team ATU hat ein eigenes System für den Social Event Detection Task entwickelt. Zur Entwicklung des Systems wurde von den OrganisatorInnen ein Datensatz mit über 300.000 Fotos zur Verfügung gestellt. Die Evaluierung des Systems wurde dann "blind" und somit ohne Einflussnahme der TeilnehmerInnen von den OrganisatorInnen auf einem separaten Datensatz durchgeführt.

Die Ergebnisse dieser Evaluierung wurden schließlich auf dem MediaEval Workshop am 16. und 17. Oktober 2014 in Barcelona präsentiert, wo Matthias Zeppelzauer die Fachhochschule St. Pölten vertrat. Erst beim Workshop wurde veröffentlicht, wie gut die Systeme der anderen TeilnehmerInnen des Benchmarks abgeschnitten haben. Dann stellte sich heraus: Das Team ATU nimmt den ersten Platz ein!

Task 1: Gruppiere 300.000 Flickr Bilder

Im Social Event Detection Task (SED) ging es um die Analyse und Organisation eines Bilddatensatzes der mehr als 300.000 Flickr Bilder enthält. Zwei Aufgaben gab es in dem Task zu lösen. Zunächst sollten die Bilder des gesamten Datensatzes gruppiert (geclustert) werden, sodass jeder Cluster genau ein Ereignis (social event) darstellt. Ein solches Event kann etwa ein ganz bestimmtes Fußballspiel in Wien sein oder eine Demonstration in Barcelona. Insgesamt gibt es mehrere tausend solcher social events zu denen Fotos zugeordnet werden sollten. Die genaue Zahl der Events, sowie deren Eigenschaften waren jedoch nicht bekannt und mussten von den TeilnehmerInnen bestimmt werden. Die Gruppierung von Fotos in "social events" basiert auf den Metadaten, die Flickr zur Verfügung stellt, wie z.B. textuelle Beschreibung, Aufnahmedatum und Aufnahmeort. Die besondere Schwierigkeit des Tasks lag darin, dass die Metadaten oft unvollständig sind (fehlender Ort, fehlende Beschreibung) oder sogar falsch sind (z.B. aufgrund falscher Benutzereingaben). Mit einer Erkennungsrate von über 94 % konnte das Team ATU den ersten Platz erreichen.

Task 2: Identifiziere textuellen Suchanfragen entsprechende Fotos

Im zweiten Teil des Social Event Detection Tasks sollten Fotos nach bestimmten Kriterien abgerufen werden. Dafür wurden die bereits gruppierten und zugeordneten Fotos aus dem ersten Teil als Eingabe herangezogen. Anschließend wurde eine textuelle Suchanfrage an das System gestellt, wie etwa: "Finde alle Musikereignisse die in Bukarest stattgefunden haben" oder "Finde alle Proteste, Paraden und öffentliche Feiern in Kanada". Das System muss auf Basis dieser Anfrage mit Hilfe der zu den Flickr Fotos verfügbaren Metadaten zutreffende Ereignisse identifizieren und die entsprechenden Fotos zurückliefern. Die besondere Schwierigkeit stellte der textuelle Abgleich der oft abstrakten Suchanfragen ("Musikereignisse") mit den eher konkreten Beschreibungen in den Metadaten (z.B. "Popkonzert" oder "Festival") dar. Das Team ATU war das einzige Team, das diesen Task in Angriff genommen hat, abgesehen vom Organisationsteam, das außer Konkurrenz angetreten ist.

Menschliche und soziale Aspekte beim MediaEval

Der MediaEval Benchmark richtet sich an ForscherInnen die sich auf die menschlichen und sozialen Aspekte von multimedialen Inhalten konzentrieren. Der Benchmark umfasst unterschiedliche Tasks aus den Bereichen Sprachanalyse, Bildsuche und Bildanalyse, Geotagging, Musikanalyse, sowie die Analyse von sozialen Ereignissen (social events) auf Online-Plattformen wie Flickr und Twitter.

Dr. Matthias Zeppelzauer (matthias.zeppelzauer@fhstp.ac.at) ist Senior Researcher an der Fachhochschule St. Pölten und forscht in den Bereichen Mustererkennung und Multimedia Signalverarbeitung. Seine Schwerpunkte sind Audioanalyse (bioakustisches Monitoring und Geräuscherkennung) sowie Bild- und Videoanalyse (Videosegmentierung, Objekterkennung und Social Media Analyse). Derzeit arbeitet er an einem internationalen Projekt zur Erforschung und digitalen Archivierung prähistorischer Felskunst im Bereich des 3-dimensionalen Retrieval. Er hält ein Doktorat der technischen Universität Wien und ist Mitglied in Programmkomitees zahlreicher Fachzeitschriften und Konferenzen im Multimediabereich.

Näheres zum Workshop-Prozedere.
Infos zur MediaEval 2014.
Über den Social Event Detection Task.
Link zum Paper.

Jetzt teilen: