Die Weiterentwicklung von künstlicher Intelligenz (KI) und deren Potenzial hat in den letzten Jahren viel Aufmerksamkeit erregt. Dabei ist die Qualitätssicherung und Kontrolle von KI-Systemen von großer Bedeutung, insbesondere wenn sie verantwortungsvolle Aufgaben übernehmen. Die Systeme berechnen lediglich die wahrscheinlichste Antwort auf eine Frage und geben sie als Fakt aus. Deshalb ist es wichtig, dass KI-Systeme transparent und zuverlässig sind und dass man Fehler und Schwachstellen durchgehend identifizieren und korrigieren kann.
Das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme (IAIS) hat verschiedene Assessment-Tools und Prozesse entwickelt, um KI-Systeme systematisch auf Schwachstellen zu untersuchen und gegen KI-Risiken abzusichern. Diese Tools unterstützen Entwickler und Aufsichtsbehörden, um die Qualität von KI-Systemen zu bewerten und sicherzustellen, dass sie vertrauenswürdig sind.
Also Read:
Zusammen mit seinem Team entwickelt Dr. Maximilian Poretschkin, Leiter für sichere KI und KI-Zertifizierung, auf der Grundlage des AI Assessment Catalog neue Assessment-Tools, die KI-Anwendungen hinsichtlich ihrer Zuverlässigkeit, Fairness, Robustheit, Transparenz und Datenschutz untersuchen und bewerten. Die Tools können modular kombiniert und in ein Software-Framework integriert werden.
Das Fraunhofer IAIS hat insbesondere Tools entwickelt, um Vulnerabilitäten in neuronalen Netzwerken aufzudecken und um die Unsicherheit von KI-Entscheidungen zu quantifizieren. Das ScrutinAI-Tool ermöglicht es Testpersonen beispielsweise, gezielt nach Schwachstellen in neuronalen Netzwerken zu suchen und somit die Qualität von KI-Anwendungen zu bewerten. Diese Methode hilft Entwicklern, mögliche Mängel in ihren KI-Systemen frühzeitig zu erkennen und gezielte Verbesserungsmaßnahmen zu ergreifen.
Also Read:
Des Weiteren hat das Fraunhofer IAIS mit der Entwicklung des UncertAInty-Tools eine Methode geschaffen, um neurale Netzwerke mit einer situationsabhängigen Qualitätsbewertungsfunktion auszustatten. Diese Funktion ermöglicht es KI-Anwendungen, ihre eigene Sicherheit in Bezug auf die Vorhersage zu bewerten. Insbesondere in der hochautomatisierten Entscheidungsfindung ist es wichtig, das Vertrauen in das KI-System zu messen und zu bestimmen, ob bestimmte Rückfallmechanismen aktiviert oder ein menschlicher Entscheider herangezogen werden muss.
Das Benchmarking-Tool des Fraunhofer IAIS wird eingesetzt, um zu untersuchen, welches KI-Modell am besten für eine bestimmte Aufgabe geeignet ist. Mit diesem Tool können Unternehmen die richtige KI-Anwendung für ihre Prozesse auswählen und die Fairness von Trainingssätzen messen. Insbesondere in HR-Anwendungen ist dies von großer Bedeutung, um Auswahlen von neuen Mitarbeitern gleichmäßig auf alle Gruppen verteilen und somit Chancengleichheit gewährleisten zu können.
Also Read:
Die Entwicklung von prototypischen Bewertungstools wird durch das Wirtschaftsministerium, die Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen im Rahmen des NRW ZERTIFIZIERTE KI-Projekts unterstützt. Hierbei werden die zugrunde liegenden Bewertungskriterien des AI-Assessment-Katalogs von 2021 von Forschern des Fraunhofer IAIS genutzt.
Die Entwicklung von Assessment-Tools, umrisst ein wichtiger Schritt in der Erweiterung künstlicher Intelligenzen. Sie bewahren Unternehmen und Forschern vor möglichen Schwächen und schaffen Vertrauen in verantwortungsvollen Anwendungsbereichen.
Also Read:
In Other News Around the World: