Artificial Intelligence (AI) Testing

Künstliche Intelligenz ist in aller Munde und hält Einzug in vielfältigste Bereiche der Unternehmen. Auch die Testing-Welt, wo wir uns als QualityMinds zuhause fühlen und die in diesem Zusammenhang oft nur unzulänglich Berücksichtigung findet, wandelt sich und wird durch Machine Learning vor gänzlich neue Herausforderungen gestellt.

Denn die Qualität von KI-Systemen ist von entscheidender Bedeutung, gerade wenn ihr Versagen weitreichende Konsequenzen mit sich bringt, wie im Falle des Autonomen Fahrens. Da die KI auf Basis von Daten lernt und es keine klar vorgegebenen und durch den Menschen entwickelte Algorithmen gibt, benötigt der Test gänzlich neue Herangehensweisen. Basierend auf unseren Projekterfahrungen, aber auch generell im Kontext “KI Test” anwendbar, haben wir für die Konzeption der Teststrategie und des -designs eine Vielzahl an Fragen identifiziert, die gestellt werden sollten um eine bedarfsorientierte Teststrategie aufzustellen. Wie komplex dies ist, zeigt sich vor allem in unserem größten KI-Projekt, einem Förderprojekt der Bundesregierung, welches das Ziel verfolgt, eine allgemeingültige Absicherungsmethodik für die KI in autonomen Fahrzeugen zu entwickeln und dabei, soweit unsere Verantwortlichkeit, kritische Ausnahmesituationen sowohl innerhalb des Straßenverkehrs als auch des KI-Systems und Sensorik systematisch zu berücksichtigen.

Unser Fachartikel “Corner Cases und ihre Tücken”

Du möchtest Machine Learning Engineer bei QualityMinds werden?

 

Als QualityMinds sind wir dein Ansprechpartner rund um die zentralen Fragen des KI-Testens.

Dazu gehört aus unserer Sicht:

Teststrategie

Die Teststrategie ist der Hauptbaustein, um auf effektive und effiziente Weise zu testen. Während das Testen “traditioneller Systeme” (Web, Mobile, API, etc.) auf mehreren bestehenden Teststrategien basieren kann, ist dies bei ML-basierten Systemen nicht der Fall. Zum Beispiel muss der Schwerpunkt viel mehr auf Daten, deren Struktur, Semantik, etc. sowie auf Datengenerierungstechniken gelegt werden. Wir beraten Produktteams, wie diese Art von Teststrategie gestaltet werden kann. Wir machen das auf eine agile Art und Weise mit Methoden wie OnePager oder 10 Minuten Teststrategie sowie Risk Storming.

Corner Cases

Beim Testen von ML-basierten Systemen ist die systematische Identifizierung von potentiellen Corner Cases, sprich Ausnahmesituationen, äußerst relevant. Wir beraten Produktteams bei der Identifizierung, dem Design und dem Testen von Corner Cases und sind sowohl Teil des Trainings- und Testprozesses als auch auf der Anwendungsebene.

Testdatenqualität

Das Testen von ML-basierten Systemen konzentriert sich viel mehr auf Daten als bei “traditionellen” Testansätzen. Insbesondere die Betonung von qualitativ hochwertigen Testdaten und datengetriebenen Ansätzen erfordert ein solides Wissen sowohl im Testdatenmanagement als auch in der Datenwissenschaft. Wir bieten unseren Kunden die Kombination beider Welten an, indem wir Methoden und Werkzeuge zur Verfügung stellen, um eine Pipeline für Testdaten in Projekten zu entwerfen und aufzubauen.

Hands-on Testing

Jede erfolgreiche Teststrategie ist eine Mischung aus sorgfältig ausgearbeiteten Testfällen, Testautomatisierung und explorativem Testen. Besonders letzteres erfordert ein sehr gutes Verständnis der Domäne sowie ausgezeichnete Testfähigkeiten. Wir bieten unseren Kunden eine große Anzahl hervorragender Testexperten für exploratives praktisches Testen, um die wichtigsten Eckpunkte für ML-basierte Systeme zu identifizieren.

ML-basierte Test-Tools

Die verschiedenen Techniken, die aus der Datenwissenschaft und dem maschinellen Lernen bekannt sind, können auch zur Verbesserung des Testprozesses eingesetzt werden. Langsam entwickelt sich der Markt für ML-basierte Testwerkzeuge. Wir bieten unseren Kunden eine Übersicht und Werkzeugbewertung auf der Grundlage ihrer Anforderungen und unserer Kenntnisse über diesen Markt.

Unsere Referenzen

QualityMinds AI Testing Experts

Tobias Varlemann

Lead R&D

Focus:
ML Pipelines, Computer Vision, NLP

Marco Hoffmann

PhD Student

Focus:
DNN Testing & Data Quality

Patrick Prill

Senior Test Expert

Focus:
Test Data & Bias

Dr. Michael Mlynarski

CEO

Focus:
AI Test Strategy, Corner Cases, Computer Vision, AI-Based Product Development

Kontakt

Hast du Interesse, weitere Fragen oder benötigst einen KI-Testing Expert in deinem Projekt? Dann nutze einfach schnell unser Kontaktformular.

2 + 13 =