BlogSuccess StoryTesting

Qualitätssicherung von KI – Die Gefahren lauern vor allem hinter den Ecken

09.06.2020

geschrieben von

Veronika Sturm

Die QualityMinds gehen Corner Cases auf die Spur und setzen sich nun auch erfolgreich für die Qualitätssicherung von Künstlicher Intelligenz ein. Und dürfen dabei ganz viel lernen.

Besonders im komplexen Bereich des autonomen Fahrens ist die Qualität von KI-Systemen von entscheidender Bedeutung. Hier müssen Algorithmen, Verkehrsrecht und Sensorik, selbst in den außergewöhnlichsten Situationen, perfekt ineinander spielen, um die richtigen Entscheidungen zu treffen. Denn wo es um Menschenleben geht, gilt es zweifelsohne, die Fehlerquote möglichst gering zu halten. An diese Herausforderung wagen wir uns mit Vergnügen.

Seit Juli 2019 arbeiten die QualityMinds im Rahmen des mit 41 Millionen Euro geförderten Projektes “KI-Absicherung” des Bundesministerium für Wirtschaft und Energie (BMWi) mit 27 Partnern aus der Automobilbranche und Forschung (OEMs, Zulieferern, KI-Startups und Forschungsinstituten) eng zusammen, um durch eine stringente und nachweisbare Argumentationskette die Absicherung und Freigabe von KI-Systemen in autonomen Fahrzeugen gewährleisten zu können. Hierfür ist es selbstverständlich u.a. notwendig, die Algorithmen mit Daten zu trainieren und auch zu testen, die ein möglichst breites Spektrum an Situationen abbilden. Was wiederum die synthetische Erzeugung der Daten erfordert. Die QualityMinds leiten dabei ein Arbeitspaket, das sich der Erarbeitung einer Methodik zur Identifikation sog. Corner Cases (sprich Ausnahmesituationen) und damit deren Berücksichtigung für die Qualität der Trainings- und Testdaten verschrieben hat; und darüber hinaus als Gatekeeper für die Anforderungen an ebendiese fungiert. Wir bleiben gespannt, was in dieser Branche noch alles geschieht und feiern unsere ersten Erfolge.

Durch unsere Erfahrungen aus diesem Projekt, weiteren Beratungsprojekten sowie internen Entwicklungs- sowie Forschungsprojekten und v.a. dem Spaß, den wir dabei empfinden, entwickeln wir uns immer weiter und es erwächst ein vielseitiges Portfolio, das sich dem Testen von KI widmet. Denn die Testing-Welt, in der wir leben, und ihre Paradigmen werden sich in Zukunft durch den Einsatz von KI stark verändern. Wir sind fest entschlossen, noch mehr darüber zu lernen und freuen uns über jeden Austausch und Interessent*innen zu diesem Thema. Gerne beraten wir in Projekten und Organisationen zur Qualitätssicherung von KI.

Wer sich einlesen und unsere Experten besser kennenlernen möchte, laden wir herzlich ein, sich unseren neuen Artikel aus dem German Testing Magazin, das neuste Produkt aus unserem Innovation Lab für das Testen von KI in autonomen Fahrzeugen oder einen unsere Vorträge (von Patrick, Michael oder Ron) anzusehen. In Kürze folgt zudem eine eigene Landingpage, die unser Portfolio, die wichtigsten Ansprechpartner*innen und die Details unserer Referenzprojekte abbildet.

________________________________________
English Version:
The dangers are hiding behind the corners and QualityMinds are investigating the so-called corner cases. Currently, we are celebrating our first successes in a project involving quality assurance of artificial intelligence. And we are happy to learn a lot in the process.

The quality of AI systems is of crucial importance, especially in the complex area of autonomous driving. Here, even in the most unusual situations, algorithms, traffic law and sensor technology must interact perfectly in order to make the right decisions. Where human lives are at risk, it is particularly necessary to keep the error rate as low as possible. This is a challenge we take up with pleasure.

Since July 2019, QualityMinds has been working closely together with 27 partners from the automotive industry and the field of research (OEMs, suppliers, AI start-ups and research institutes) within the framework of the “AI Assurance” project of the German Federal Ministry of Economics and Energy (BMWi). The framework is funded with 41 million Euros, in order to guarantee the assurance and release of AI systems in autonomous vehicles through a stringent and verifiable chain of argumentation. This requires, among others, the training and testing of algorithms with data that represent as broad a spectrum of situations as possible. In return, it requires the synthetic generation of the data.
QualityMinds is leading a project sector dedicated to the development of a methodology for the identification of so-called corner cases (i.e. exceptional situations) and thus their consideration for the quality of the training and test data. We remain curious to see what else will happen in this industry and celebrate our first successes.

Thanks to our experiences with the aforementioned project as well as other consulting tasks, internal development and research projects, we are constantly evolving and broadening the portfolio dedicated to AI testing. The testing world and its paradigms will undergo significant change in the future due to the increasing use of artificial intelligence. We are strongly committed to learning more about these developments and look forward to discussions and exchange of experiences on this topic. We are also looking forward to consulting on quality assurance of AI in further projects.

If you want to find out more about the project and people involved in it, read our article in the latest issue of the German Testing Magazin. Or have a look at the latest product from our Innovation Lab for the testing of AI in autonomous vehicles or to view one of our presentations (from Patrick, Michael or Ron) . A dedicated landing page will follow soon, showing our portfolio, the most important contact persons and the details of our reference projects.