TÜV AUSTRIA präsentiert Anforderungen und Lösungsvorschläge für die Bewertung von KI-Systemen und empfiehlt eine entsprechende Präzisierung für den EU AI Act in einem Positionspapier.
Nach jahrelangen Verhandlungen wurde kürzlich Europas neues KI-Gesetz, der EU AI Act, vom Europäischen Parlament verabschiedet. Der finale Text dazu wird erst 2024 vorliegen, ab 2026 soll das neue Gesetz vollumfänglich angewendet werden.
Thomas Doms, Geschäftsführer von TRUSTIFAI, dem Test- und Qualifizierungs-Hub von TÜV AUSTRIA und Software Competence Center Hagenberg für KI-Anwendungen, anerkennt, dass der EU AI Act ein wichtiger Schritt ist, die Risiken von KI-Anwendungen zu regeln – immer unter der Berücksichtigung der Interessenpositionen seitens der EU-Kommission und der 27 Mitgliedsstaaten. Das KI-Gesetz greife zudem auch mehr auf als entsprechende Regelungen in den USA und China. Zufrieden ist er mit dem ausgehandelten Gesetz dennoch nicht. „Aus der Sicht einer Prüforganisation, die bereits im Jahr 2020 mit TRUSTED AI den weltweit ersten Testkatalog für KI-Anwendungen herausgebracht hat und über umfangreiche Expertise bei der Prüfung von Machine-Learning-Modellen verfügt, werden die bekannten funktionalen Risiken, die sich aus dem Einsatz von KI ergeben können, nicht klar genug adressiert.“
Funktionale Anforderungen im EU AI Act nicht ausreichend berücksichtigt
So seien die Grundlagen für zukünftige Konformitätsbewertungen in Hinblick auf die funktionalen Anforderungen an diese Systeme – wie Robustheit, Transparenz und Zuverlässigkeit, in den Normungsgremien und im EU KI-Gesetz nicht ausreichend berücksichtigt, betont Doms.
Es fehlten auch konkrete Vorgaben für einheitliche Risikobewertungsverfahren und mögliche Opt-Out-Verfahren für Stand-Alone-Systeme. Das berge die Gefahr einer Ungleichbehandlung von gleichartigen Produkten.
Doms fordert, dass sogenannte Low-Profile-Zertifizierungen oder rein papier- und dokumentenbasierte Überprüfungen von riskanten KI-Anwendungen vermieden werden müssen. „Unsere Erfahrungen aus bereits durchgeführten Zertifizierungsprojekten zeigen, dass die häufig geäußerte Befürchtung mancher Stakeholder, dass Prüfverfahren mit ausreichender Prüftiefe zu einer Überregulierung führen würden, ein Scheinargument ist. Denn selbst Prüfungen für komplexe Modelle und Anwendungen haben unter Berücksichtigung der Anforderungen an die funktionale Sicherheit einen wirtschaftlich vertretbaren Umfang niemals überschritten.“
Stichproben anstelle papier- und dokumentenbasierten Überprüfungen
Thomas Doms: „Die Komplexität, wie wir sie beispielsweise von tiefen neuronalen Netzen kennen, erschwert es auch, Fehlfunktionen oder Manipulationen von außen zu erkennen und zu beheben.
Um einen sicheren, robusten und transparenten Einsatz von KI, insbesondere in sicherheitskritischen Anwendungen, zu gewährleisten, sind hinreichende funktionale Anforderungen zu spezifizieren sowie angemessene Konzepte, Methoden und Werkzeuge für entsprechende Tests erforderlich.“
Die Qualität eines vertrauenswürdigen KI-Entscheidungssystems lässt sich vor allem durch die korrekte statistische Prüfung an Stichproben und in der Präzision der Definition des Anwendungsfeldes, die die Ziehung von repräsentativen Stichproben überhaupt erst möglich macht, feststellen. Thomas Doms: „Wir fordern daher, dass eine zuverlässige Bewertung der statistischen Funktionseigenschaften eines KI-Systems nach dem bekannten wissenschaftlichen Stand der Technik den unverzichtbaren und verbindlichen Kern einer Konformitätsbewertung bilden muss.“
Dazu notwendig sind:
- eine genaue Definition des Verwendungszwecks, formalisiert als technische Verteilung, die eine Zufallsauswahl ermöglicht
- die Erhebung von risikobasierten Mindestleistungsanforderungen und
- statistisch valide Tests auf der Basis unabhängiger Stichproben.
„Die TÜV AUSTRIA TRUSTED AI Testmethode kann sowohl auf überwachte als auch auf unüberwachte Lernanwendungen angewendet werden. Wir sind gerne bereit unsere Kriterien, Erfahrungen und Bewertungsergebnisse mit der EU-Kommission und ihren Standardisierungsgremien zu teilen. Damit bestehende Regelungslücken im EU-Gesetz rasch geschlossen werden können“, so Doms abschließend.
TRUSTIFAI
Das Qualitätssiegel für Künstliche Intelligenz
Österreichs erster KI Test- und Qualifizierungshub
TÜV AUSTRIA und das Software Competence Center Hagenberg (SCCH) verkündeten bei einer Pressekonferenz mit dem Oberösterreichischen Landeshauptmann Mag. Thomas Stelzer und dem Wirtschafts- und Forschungs-Landesrat Markus Achleitner die Gründung von Österreichs erster KI Test- und Qualifizierungshub.
TÜV AUSTRIA & Software Center Hagenberg Joint Venture
TRUSTIFAI
Sichere & zuverlässige Anwendung von KI
https://www.trustifai.at | TÜV AUSTRIA und das Software Competence Center Hagenberg (SCCH) gründen in einer wegweisenden Kooperation mit TRUSTIFAI Österreichs erstes KI Test- und Qualifizierungshub. TRUSTIFAI dient der Überprüfung und Zertifizierung von KI-Anwendungen. Durch ein unabhängiges Qualitätssiegel nach höchsten Standards wird Vertrauen in die sichere und zuverlässige Anwendung von KI geschaffen, was wiederum das Wachstum des KI-Marktes weiter vorantreibt.
Podcast
KI: Künstliche Intelligenz auf dem Prüfstand
Viertel vor Haas Folge 02
TÜV AUSTRIA & JKU entwickeln Zertifikat für künstliche Intelligenz
Künstliche Intelligenz auf dem Prüfstand
#livingthefuture
Gemeinsam mit dem Institut für Machine Learning der Johannes Kepler Universität (JKU) Linz entwickelt TÜV AUSTRIA ein Zertifikat für künstliche Intelligenz.
Zertifikate prüfen
Ich suche eine Lösung, kenne aber deren Bezeichnung nicht 
