Keynote @ ML Prague

Fabian Kovac, Assistant in der Forschungsgruppe Data Intelligence am Institut für IT Sicherheitsforschung, wurde von 02. bis 04. Juni als Keynote Speaker bei der Machine Learning Prague 2023 eingeladen und präsentierte seine Arbeit zum Thema ‚Standing Still Is Not An Option: Variantions of Attainable Utility Preservation‘.

Die Machine Learning Prague ist Europa's größte Konferenz zu Machine Learning, AI und Deep Learning Anwendungen und begeistert jedes Jahr 3 Tage lang über 1000 Teilnehmer*innen aus der gesamten Welt mit Fachvorträgen aus Wirtschaft und Forschung.

Zum Thema

Die rasche Entwicklung des maschinellen Lernens und der künstlichen Intelligenz hat zu wachsender Besorgnis über die möglichen Auswirkungen der KI auf die Gesellschaft geführt. Es ist eine große Herausforderung, dafür zu sorgen, dass sich KI-Systeme sicher und vorteilhaft verhalten, insbesondere im Kontext von Reinforcement Learning, bei dem ein Agent lernt, indem er mit einer Umgebung interagiert und Feedback in Form von Belohnungen oder Bestrafungen erhält.

Die Vermeidung negativer Nebeneffekte ist eine dieser Herausforderungen, bei der der Agent keinen unbeabsichtigten Schaden verursachen sollte, während er versucht, sein primäres Ziel zu erreichen. Ein vielversprechender Weg, diese Aufgabe auf implizite Weise zu erfüllen, also ohne dem Agenten zu sagen, was er nicht tun soll, nennt man Attainable Utility Preservation (AUP).
Es werden alle vorgestellten Varianten auf mehreren KI-Sicherheitsumgebungen evaluiert, die von Google Deepmind und der Universität von Bristol speziell entwickelt wurden, um die Fähigkeiten von Agenten zu testen, ein primäres Ziel zu lösen und gleichzeitig negative Nebeneffekte zu vermeiden.

Copyright: ML Prague, Vaclav Budiac

Zusammenfassend lässt sich sagen, dass unsere Arbeit kritische Herausforderungen im Bereich der KI-Sicherheit im Zusammenhang mit Reinforcement Learning adressiert und einen aktualisierten Ansatz vorschlägt, um implizit sicheres Verhalten zu erreichen, indem negative Nebeneffekte vermieden werden, was zu den allgemeinen Bemühungen beiträgt, sichere und nützliche KI-Systeme für die Zukunft zu entwickeln.

„Wir tragen mit unserer Forschung aktiv zu den allgemeinen Bemühungen bei und legen Grundsteine, um sichere und nützliche KI-Systeme für die Zukunft zu entwickeln!“ so Kovac.