Testen von künstlicher Intelligenz (KI) und Machine Learning (ML)

Testing-Standards für die Welt der Datenwissenschaft adaptieren: Best Practices für eine zuverlässige KI-Teststrategie

KÜNSTLICHE INTELLIGENZ UND MACHINE LEARNING

Stellen wir uns gemeinsam den neuen Herausforderungen in der Testing-Welt durch solides Wissen aus Datenwissenschaft und Datenmanagement – von Pre-Processing bis hin zu Corner Cases

Entwickle eine robuste KI-Teststrategie mit Fokus auf präziser Datenanalyse. Optimiere deine KI-Implementierung durch umfassende Tests, um sicherzustellen, dass deine Modelle auch in herausfordernden Szenarien zuverlässig performen.

Wir beraten dich bei der Entwicklung einer umfassenden Teststrategie für KI- und Machine-Learningbasierte Systemen:

  • Gemeinsames gestalten von KI-Teststrategien
  • Identifizieren potentielle Ausnahmefälle (Corner Cases)
  • Exzellenter Testexpert:innen für das explorative Praxistesten
  • Umfassende Tool-Evaluierung

How can you test machine learning? (Folge auf EN)

QualityHeroes Podcast Folge 36: Unsere Gäste Namrata Gurung und Michael Mlynarski diskutieren verschiedene Methoden KI- und ML-basierte Systeme zu testen.

Jetzt anhören 

Mit welchen Daten kann man eine KI testen und absichern?

QualityHeroes Podcast Folge 18: Bettina Stühle-Stein berichtet über ein großes IT-Projekt zum autonomen Fahren.

Jetzt anhören 

Projekt KI-Absicherung

Wie komplex das Testen von Künstlicher Intelligenz ist, zeigt sich vor allem in unserem größten KI-Projekt, einem Förderprojekt der Bundesregierung, welches das Ziel verfolgt, eine allgemeingültige Absicherungsmethodik für die KI in autonomen Fahrzeugen zu entwickeln.

Dabei sind wir für dafür verantwortlich sogenannte Corner Cases, also kritische Ausnahmesituationen sowohl innerhalb des Straßenverkehrs als auch innerhalb des KI-Systems und der Sensorik systematisch zu berücksichtigen.

Weitere Infos zum Projekt findest du hier: Abschluss des Projektes: KI-Absicherung – Sicherheitsargumentation für autonomes Fahren in Berlin.

Unser Angebot im Testing von Künstlicher Intelligenz

KI-TESTSTRATEGIE


Die Test-Strategie ist der wichtigste Baustein, um effektiv und effizient KI- und ML-basierte Systeme zu testen. Während das Testen von “traditionellen Systemen” (Web, Mobile, API etc.) auf verschiedenen bestehenden Teststrategien basieren kann, ist dies bei Machine-Learning-basierten Systemen nicht der Fall. So muss der Fokus vielmehr auf die Daten, deren Struktur, Semantik etc. sowie auf die Datengenerierungstechniken gelegt werden. 

Testkonzepte bilden die Grundlage für projektübergreifende Standards im Bereich Qualität und Testing. Sie bilden die Grundlage zur projektbezogenen Ableitung von Teststrategien und bilden damit einen der Grundpfeiler der Testaktivitäten. Wir beraten Produktteams, wie eine solche Teststrategie gestaltet werden kann und wie Datenaufbereitungs- und Validierungsspipelines erstellt werden können. Unsere Beratung erfolgt auf agile Art und Weise mit Methoden wie dem OnePager, der 10-Minuten-Teststrategie sowie Risk Storming.

KI-Teststrategie
Corner Cases

AUSNAHMEFÄLLE – CORNER CASES

Beim Testen von KI- und ML-basierten Systemen ist die systematische Identifikation von potenziellen Ausnahmefällen, den “Corner Cases” äußerst relevant.

Wir beraten Produktteams bei der Identifikation, dem Design und dem Testen von Corner Cases und sind sowohl im Trainings- und Testprozess als auch während der Applikationsphase dabei.

QUALITÄT DER TESTDATEN

Beim Testen von ML-basierter Systeme liegt der Fokus deutlich mehr auf Daten als es bei den “traditionellen” Testansätzen der Fall ist. Die Qualitätsbewertung der verwendeten Trainings-, Test-, und Validierungsdaten, erfordert sowohl ein solides Wissen der Datenwissenschaft als auch des Datenmanagements.

Wir bieten unseren Kund:innen eine Kombination aus beiden Welten, indem wir Methoden und Werkzeuge für das Design und den Aufbau einer Pipeline für Testdaten in Projekten bereitstellen.

 

Qualität der Testdaten
Hands-on Testing

HANDS-ON TESTEN

Jede erfolgreiche Teststrategie ist eine Mischung aus sorgfältig ausgearbeiteten Testfällen, Testautomatisierung und explorativen Tests. Vor allem letzteres erfordert ein sehr gutes Verständnis der Domäne und exzellente Testfähigkeiten.

Wir bieten unseren Kund:innen eine Reihe exzellenter Testexpert:innen für das explorative Praxistesten, um die wichtigsten Ausnahmesituationen für ML-basierte Systeme zu identifizieren.

ML-BASIERTE TESTWERKZEUGE

Die verschiedenen aus der Datenwissenschaft und dem maschinellen Lernen bekannten Techniken können auch zur Verbesserung des Testprozesses eingesetzt werden.

Der Markt für ML-basierte Testwerkzeuge entwickelt sich langsam. Wir geben unseren Kund:innen einen Überblick und eine Tool-Evaluierung, basierend auf ihren Anforderungen und unseren Kenntnissen dieses Marktes.

ML-basiertes Testen

Workshop: Lernreise KI-Teststrategie für Unternehmen

Die Lerninhalte werden durch einen initialen Discovery-Workshop geschärft und können im Reiseverlauf noch bedarfsgerecht ergänzt und angepasst werden. Hierfür werden wir interdisziplinär alle relevanten Rollen des Entwicklungsprozesses einbeziehen.

Folgende Inhalte werden vermittelt:

  • Prozessableitung: Von der Anforderung über die Testdaten zum Produktivsystem
  • Risikoanalyse entlang des abgeleiteten Prozesses
  • Ein inhaltübergreifender Aspekt wird hier die Erstellung und Verwendung der Operational Design Domain (ODD) der Anwendung sein, insbesondere bei den Inhalten, Metriken und Monitoring, Risiken und Mitigierungsstrategien, gemeinsames Wissen und Aufbau der Testpyramide.
  • Individueller Aufbau eines KI-Testkonzepts für das Projekt
  • Ableitung einer modularen KI-Teststrategie
    • Unterstützung bei der Einführung bedarfsorientierter Metriken und Monitoring
    • Umsetzung von Shift Left Ansätzen, z.B. CI/CD Pipelines und Unit Tests im KI-Bereich
    • Mitgierungsstrategien für die Risiken
    • Schematischer Aufbau einer individuell angepassten Testpyramide
Workshop: Lernreise KI-Teststrategie

Referenzen im Bereich KI-Testing

KI Absicherung – Corner Cases

Projekt KI-Absicherung im autonomen Fahren

Hier handelt es sich um ein Forschungsprojekt gefördert vom Bundesministerium für Wirtschaft und Klimaschutz. Es wird eine Methodik für die KISicherheit im Zusammenhang mit automatisiertem Fahren entwickelt. QualityMinds leitete das Arbeitspaket zum Thema Corner Cases.

Weitere Infos
Projekt ATTENTION KI-Testing

Förderprojekt ATTENTION

ATTENTION ist ein von der deutschen Regierung gefördertes Forschungsprojekt. Zusammenarbeit mit einem Konsortium von 5 deutschen Projektpartnern (OEM, Zulieferer, Technologiepartner, Forschungsinstitute), werden Methoden im Bereich Autonomes Fahren zur Vorhersage des Verletzungsrisikos in Echtzeit und zur Schadensbegrenzung entwickelt.

Weitere Infos 
KI-Testing Rainforest Connection

Rainforest Connection

Qualitätssicherung eines verteilten Systems zur Audiodetektion im Regenwald. Durch Deep Learning Methoden werden Kettensägengeräusche erkannt und Abholzung verhindert.

Weitere Infos 
Referenz KI-Testing autonomes Fahren

Test ML – Automotive

Beratung und Entwicklung einer Testplanungssoftware unter Verwendung von SupervisedMachineLearning.

Weitere Infos

Veröffentlichungen im Bereich KI-Testing

Research

Research Survey "Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety

The use of deep neural networks (DNNs) in safety-critical applications like mobile health and autonomous driving is challenging due to numerous model-inherent shortcomings. 

Jetzt lesen!

Research

German Testing Magazine – Die Gefahren lauern an allen Ecken

In diesem Artikel stellen wir konkrete Beispiele von KI-spezifischen Corner Cases, eine Taxonomie als Teil dieser Methodik und die wichtigsten Erkenntnisse für das Testen von Computer Vision vor.

Jetzt lesen!

Research

Highly Automated Corner Cases Extraction: Using Gradient Boost Quantile Regression for AI Quality Assurance

This work introduces a method for Quality Assurance of Artificial Intelligence (AI) Systems, which identifies and characterizes “corner cases”. Here, corner cases are intuitively defined as “inputs yielding an unexpectedly bad AI performance”.

Jetzt lesen!

Research

WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification

This paper outlines a style augmentation algorithm using stochastic-based sampling with noise addition for randomization im- provement on a general linear transformation for style transfer.

Jetzt lesen!

Research

Context-Based Interpretable Spatio-Temporal Graph Convolutional Network for Human Motion Forecasting

In this work, we present a Context-based Interpretable Spatio-Temporal Graph Convolutional Network (CIST-GCN), as an efficient 3D human pose forecasting model based on GCNs that encompasses specific layers, aiding model interpretability and providing information that might be useful when analyzing motion distribution and body behavior.

Jetzt lesen!

Industrial Podcast: Qualitätssicherung in der künstlichen Intelligenz mit Michael Mlynarski

Podcast: Kurz KI-Qualitätssicherung und Testing für Künstliche Intelligenz

Michael Mlynarski ist CEO von QualityMinds und sorgt mit seinem Team dafür, dass die Qualität in den KI-Anwendungen hoch bleibt – Testing ist das Stichwort. Da die KI auf Basis von Daten lernt und es keine klar vorgegebenen und durch den Menschen entwickelte Algorithmen gibt, benötigt der Test gänzlich neue Herangehensweisen. Wie das geht, erklärt er im Podcast Gespräch.

Jetzt lesen!

Bereit mit uns durchzustarten?

DEINE ANSPRECHPARTNER

Tobias Varlemann

Tobias Varlemann

Lead R&D

Dr. Namrata Gurung

Dr. Namrata Gurung

Data Scientist

Bettina Stühle-Stein

Bettina Stühle-Stein

Senior Test Expert

Dr. Michael Mlynarski

Dr. Michael Mlynarski

CEO

Irgendwelche Fragen?
Kontaktiere uns!

Wir freuen uns darauf, viele Möglichkeiten mit dir zu teilen!

QualityMinds Heroes