Maschinelles Lernen (ML) ist die meistgenutzte Methode der Künstlichen Intelligenz (KI). Machine-Learning-Komponenten lernen anhand von Beispielen weitgehend selbstständig, bestimmte Muster oder Gesetzmäßigkeiten zu erkennen. Die Wirkzusammenhänge in einem trainierten Modell liegen allerdings nicht in jedem Fall offen, d.h. die Logik, wie aus den Ausgangsinformationen ein Ergebnis abgeleitet wird, ist oft kaum ersichtlich.
Inhaltsverzeichnis
1. Prüfmaßnahmen für Machine-Learning-Komponenten
2. Audit am Beispiel der Betrugspräventionslösung
3. Die Abteilung CCI am Fraunhofer IPA
Darum wird in der öffentlichen Diskussion häufig die Metapher von der Black Box verwendet. Damit geht einher, dass ML-Systeme nicht nur positiv, sondern auch kritisch bewertet werden, was eine zusätzliche Hürde für einen breiteren Einsatz der Technologe bildet.
Wie generell bei jeder Verwendung von Modellen ist insbesondere mit ML-Systemen ein verantwortungsvoller und regelkonformer Umgang notwendig. Der technische Fortschritt hat hier zu neuen Möglichkeiten geführt, sodass auch die EU-Kommission gerade an einem Gesetzentwurf arbeitet, um den KI-Einsatz zu regulieren.
Prüfmaßnahmen für Machine-Learning-Komponenten
Damit Kunden auch beim Einsatz der Betrugspräventionslösung AI:drian auf der sicheren Seite sind, hat Experian das Fraunhofer IPA beauftragt, zu bewerten, ob die ML-Komponente Transaction Miner unter Beachtung aller Best Practices und Gesetzesvorgaben entwickelt wurde und nachvollziehbare Ergebnisse liefert. Der Überprüfung lagen neben dem Entwurf der EU ein White Paper des TÜV Austria sowie ein KI-Prüfkatalog des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS zugrunde, die richtungsweisend für zukünftige Marktstandards sind. Mit Abschluss einer sehr ausführlichen viermonatigen Prüfungsphase ist diese Untersuchung zu einem positiven Resultat gelangt.
„Wie Algorithmen aussehen müssen, die faire und nachvollziehbare Ergebnisse liefern, ist zwar nicht trivial, aber auch kein Hexenwerk.“
– Prof. Marco Huber, Fraunhofer IPA
„Wir beobachten, dass mehr und mehr Machine-Learning-Komponenten in Bereichen zum Einsatz kommen, die die EU-Kommission als kritisch definiert hat, beispielsweise in selbst fahrenden Autos oder – wie in diesem Fall – bei der Überprüfung der Betrugsabsichten und Kreditwürdigkeit von Konsumenten“, erläutert Prof. Marco Huber, Leiter der Abteilung Cyber Cognitive Intelligence (CCI) am Fraunhofer IPA.
„Nicht alle Details der kommenden EU-Gesetzgebung sind bereits bekannt. Wie jedoch Algorithmen aussehen müssen, die faire, erklärbare und nachvollziehbare Ergebnisse liefern, ist zwar nicht trivial, aber auch kein Hexenwerk. Die Überprüfung des Transaction Miners von Experian gab uns die Gelegenheit, einem Produkt unter die Motorhaube zu schauen, das sich bereits im praktischen Einsatz befindet, und an einem standardisierten Verfahren zu arbeiten, das nutzbar ist, sobald die EU-Gesetzgebung rechtskräftig wird.“
Audit am Beispiel der Betrugspräventionslösung
Der von Fraunhofer IPA geprüfte Transaction Miner ist die zentrale Komponente in der Betrugspräventionslösung AI:drian, die Experian vor Kurzem in der DACH-Region auf den Markt gebracht hat. Mithilfe der verwendeten ML-Algorithmen ist AI:drian in der Lage, Online-Betrugsversuche zuverlässiger zu erkennen als bisherige Systeme. Bei einem Pilot-Kunden aus der E-Commerce-Branche waren 99,9 % der Transaktionen, die der Transaction Miner aufgrund seines Trainings als legitim identifizierte, nicht betrügerisch und wurden entsprechend nicht abgelehnt. Statt monatlich rund 7.000 Bestellanfragen mussten daher nur noch 300 manuell geprüft werden – eine Arbeitserleichterung um mehr als 95 %.
Ein Audit des Fraunhofer IPA (zweiter Schritt in der Grafik) bestätigt der ML-Komponente für die Betrugserkennungslösung von Experian eine korrekte Entwicklung und nachvollziehbare Ergebnisse.
Bild: Experian
„Wir glauben, dass der Einsatz neuer Technologien nur auf Akzeptanz treffen kann,
wenn es unabhängige Kontrollen gibt.“
– Martina Neumayr, Experian DACH
„Neue Entwicklungen wie Machine Learning werden von der Öffentlichkeit kritisch beobachtet“, kommentiert Martina Neumayr, Senior Vice President Credit Risk & Fraud Services bei Experian DACH. „Es gibt auch Beispiele, dass ML-Systeme fragwürdige Ergebnisse liefern. Mit dem Transaction Miner haben wir eine besonders leistungsstarke Machine-Learning-Komponente entwickelt, die auch dort einsetzbar ist, wo die EU-Kommission starken Regulierungsbedarf sieht, beispielsweise im Finanzwesen. Genau darum war es uns ein besonderes Anliegen, dass wir transparent agieren und die Technologie unabhängig überprüfen lassen. Wir glauben, dass der Einsatz neuer Technologien nur auf Akzeptanz treffen kann, wenn es unabhängige Kontrollen wie die durch das Fraunhofer IPA gibt. Umso besser, wenn wir durch diese Pionierleistung den Weg für ein künftiges standardisiertes Verfahren geebnet haben.“
Die Abteilung CCI am Fraunhofer IPA
Audits wie das beschriebene sind eines der Kernangebote der Abteilung CCI am Fraunhofer IPA. Einer der dortigen Forschungsschwerpunkte ist das Thema „Zuverlässige KI“. In diesem Kontext entwickeln die IPA-Experten unter anderem Methoden zur Erklärbarkeit und Absicherung von KI-Systemen. Dazu gehört auch, Audits durchzuführen und KI-Systeme als unabhängig und rechtskonform zu validieren bzw. zu qualifizieren. Die Leistungsangebote sind branchenunabhängig und eignen sich für Firmen vom Start-up bis zum Konzern. (eve)
