Selbstfahrende Autos, persönliche Assistenten, Reinigungsroboter, Smart Homes – das sind nur einige Beispiele für autonome Systeme. Bei vielen solcher Systeme, die bereits im Einsatz oder in der Entwicklung sind, stellt sich die Frage nach dem Vertrauen. Mein Hauptargument ist, dass vertrauenswürdige, gut funktionierende Systeme nicht ausreichen. Um Vertrauen zu ermöglichen, muss die Gestaltung autonomer Systeme auch andere Anforderungen berücksichtigen, wie beispielsweise die Fähigkeit, Entscheidungen zu erläutern und bei Fehlschlägen Rückgriffsmöglichkeiten zu haben.

Wenn gute Arbeit nicht ausreicht

In den letzten Jahren sind die Entwicklungen autonomer Systeme dramatisch vorangekommen. Das sind im Wesentlichen Softwaresysteme, die Entscheidungen treffen und darauf reagieren, und das hat auch Folgen. Beispiele hierfür sind physikalische Systeme wie selbstfahrende Autos und Roboter oder reine Software-Anwendungen wie persönliche Assistenten.

Es reicht jedoch nicht aus, autonome Systeme zu entwickeln, die gut funktionieren. Wir müssen uns auch überlegen, welche zusätzlichen Funktionen die Menschen benötigen, um solchen Systemen zu vertrauen. Betrachten wir zum Beispiel einen persönlichen Assistenten. Angenommen, der persönliche Assistent funktioniert gut. Würden wir ihm vertrauen, auch wenn er seine Entscheidungen nicht erklären kann? Um ein System vertrauenswürdig zu machen, müssen wir die wichtigsten Voraussetzungen für Vertrauen identifizieren. Dann müssen wir sicherstellen, dass das System so konzipiert ist, dass es diese Eigenschaften berücksichtigt.

Was lässt uns Vertrauen?

Im Idealfall würden wir diese Frage experimentell beantworten. Wir könnten die Menschen fragen, ob sie einem autonomen System vertrauen wollen. Und wir könnten untersuchen, wie das von verschiedenen Faktoren abhängt. Ist es zum Beispiel wichtig Garantien über das Verhalten des Systems zu geben? Ist es wichtig Erklärungen zu geben?

Angenommen, das System trifft Entscheidungen, die entscheidend sind, um sich zu erhalten. So sollen beispielsweise selbstfahrende Autos Unfälle vermeiden. Inwieweit sind wir vorsichtiger, wenn wir einem System vertrauen, das solche kritischen Entscheidungen trifft? Diese Versuche wurden noch nicht durchgeführt. Die unten genannten Voraussetzungen sind daher lediglich Vermutungen.

Bitte erläutern!

Erstens sollte ein System in der Lage sein, zu erklären, warum es bestimmte Entscheidungen getroffen hat. Erklärungen sind besonders wichtig, wenn das Verhalten des Systems nicht offensichtlich, aber dennoch korrekt sein kann. Man stelle sich zum Beispiel eine Software vor, die Katastropheneinsätze koordiniert, indem sie Aufgaben und Standorte den Helfern zuordnet. Ein solches System kann Aufgabenzuweisungen vorschlagen, die für einen einzelnen Retter merkwürdig erscheinen, aber aus der Sicht der gesamten Rettungsaktion korrekt sind. Ohne Erläuterungen ist es unwahrscheinlich, dass solchen Aufgabenzuweisungen vertraut werden kann.

Die Bereitstellung von Erklärungen ermöglicht es den Menschen, die Systeme zu verstehen und kann das Vertrauen in unvorhersehbare Systeme und unerwartete Entscheidungen stützen. Diese Erklärungen müssen verständlich und zugänglich sein, vielleicht in natürlicher Sprache. Sie könnten interaktiv sein, in Form eines Gespräches.

Wenn etwas schief geht

Eine zweite Voraussetzung für Vertrauen ist der Regress. Dies bedeutet, dass man eine Art und Weise zu kompensieren hat, wenn man von einem autonomen System benachteiligt wird. Dies ist eine notwendige Voraussetzung, weil wir uns auf ein System verlassen können, das nicht 100 Prozent perfekt ist. Und in der Praxis ist kein System perfekt.

Der Rückgriffsmechanismus könnte in Form einer Art Versicherung stattfinden, die sich vielleicht am neuseeländischen Ansatz zur Unfallversicherung orientiert. Allerdings kann es problematisch werden, sich auf einen Rechtsmechanismus zu verlassen. Zumindest einige autonome Systeme werden von großen multinationalen Konzernen hergestellt. Ein Rechtsmechanismus könnte sich in eine David-gegen-Goliath-Situation verwandeln, da er Einzelpersonen oder ressourcenbeschränkte Organisationen einbezieht und multinationale Unternehmen vor Gericht bringt.

Vertrauenswürdigkeit erfordert aber auch soziale Strukturen für Regulierung und Governance. Welche (inter)nationalen Gesetze sollten beispielsweise erlassen werden, um die Entwicklung und Einführung autonomer Systeme zu regeln? Welche Bescheinigungen sollten erforderlich sein, bevor ein selbstfahrendes Auto auf der Straße zugelassen wird?

Es wurde argumentiert, dass die Zertifizierung und das Vertrauen eine Verifizierung erfordern. Konkret bedeutet dies, mathematische Techniken zu nutzen, um Garantien für die Entscheidungsfindung autonomer Systeme zu geben. Zum Beispiel sollte man sicher sein können, dass ein Auto niemals beschleunigt, wenn es weiß, dass ein anderes Auto direkt vor ihm steht.

Menschliche Werte einbeziehen

Für einige Bereiche sollte der Entscheidungsprozess des Systems die relevanten menschlichen Werte berücksichtigen. Diese können Privatsphäre, menschliche Autonomie und Sicherheit einschließen.

Man stelle sich ein System vor, das sich um einen älteren Menschen mit Demenz kümmert. Die ältere Person will spazieren gehen. Aus Sicherheitsgründen sollten sie jedoch nicht das Haus verlassen dürfen. Sollte das System ihnen erlauben oder sie eher daran hindern, hinauszugehen? Oder sollte es besser jemanden informieren?

Die Entscheidung darüber, wie am besten reagiert werden kann, erfordert möglicherweise die Berücksichtigung der zugrundeliegenden menschlichen Werte. In diesem Szenario hat die Sicherheit vielleicht Vorrang vor der Autonomie, aber es ist möglich, einen Betreuer oder Verwandten zu informieren. Obwohl die Wahl der Informationsverantwortlichen durch die Privatsphäre eingeschränkt werden kann.

Autonomes intelligenter machen

Diese Voraussetzungen – Erklärungen, Regress und Werte des Menschen – sind notwendig, um vertrauenswürdige autonome Systeme aufzubauen. Sie müssen als Teil des Designprozesses betrachtet werden. Dies würde es ermöglichen, entsprechende Funktionalitäten in das System einzubauen.

Um diese Voraussetzungen zu schaffen, bedarf es einer interdisziplinären Zusammenarbeit. Die Entwicklung geeigneter Erklärungsmechanismen erfordert zum Beispiel nicht nur Kenntnisse in der Informatik, sondern auch in der Psychologie. Ebenso erfordert die Entwicklung von Software, die menschliche Werte berücksichtigen kann, Wissen in den Gebieten der Philosophie und der Soziologie. Und Fragen der Governance und Zertifizierung beziehen sich auf Recht und Ethik.

Schließlich gibt es noch weitreichendere Fragen. Erstens: Welche Entscheidungen sind wir bereit, einer Software zu überlassen? Zweitens: Wie sollte die Gesellschaft sich auf die vielfältigen Folgen vorbereiten und darauf reagieren, die der Einsatz automatisierter Systeme mit sich bringt? Sollte die Gesellschaft beispielsweise angesichts der Auswirkungen auf die Beschäftigung mit der Einführung eines bedingungslosen Grundeinkommens reagieren?

Dieser Artikel erschien zuerst auf „The Conversation“ unter CC BY-ND 4.0. Übersetzung mit freundlicher Genehmigung der Redaktion.

---

Image (adapted) „Robot and technology HD“ by Alex Knight (CC0 Public Domain)

---

Artikel per E-Mail verschicken
Schlagwörter: autonom, autonome Systeme, roboter, System, Systeme