KI-Haftung im Unternehmen: Warum KI-Kompetenz vor Automation Bias schützt

Geschrieben von: Sebastian Laoutoumai

Stellen Sie sich vor, Ihr Thermomix schlägt im Rezept für einen Marmorkuchen vor, im nächsten Schritt 250 Gramm Salz in den Teig zu geben. Wenn Sie nicht gerade im totalen Stress sind, würden Sie wahrscheinlich kurz stutzen, schmunzeln und den Fehler beziehungsweise diese fehlerhafte Anweisung ignorieren. Doch je kompetenter und zuverlässiger technische Systeme wirken, desto eher neigen wir dazu, ihre Vorschläge ungeprüft zu übernehmen – insbesondere dann, wenn sie komplexe Aufgaben übernehmen oder ihre Ergebnisse überzeugend präsentieren (sog. Automationbias).

Genau diese menschliche Tendenz wird beim Einsatz von Künstlicher Intelligenz zunehmend zum Problem und kann zur Haftung für KI führen. Denn fehlerhafte KI-Ergebnisse führen nicht nur zu misslungenen Kuchen, sondern im Unternehmensalltag möglicherweise zu falschen Entscheidungen, Compliance-Verstößen oder rechtlichen Risiken. Umso wichtiger ist es, Mitarbeitende in die Lage zu versetzen, KI-Ergebnisse kritisch zu hinterfragen. KI-Kompetenz wird damit nicht nur zu einer Frage der effizienten Nutzung von KI, sondern auch der wirksamen Haftungsprävention.

Haftung für KI - Wie wirkt der Automationbias?

Der Automationsbias bezeichnet das übermäßige Vertrauen in automatisierte Systeme (ausführlich hierzu im Whitepater des BSI „Bias in der künstlichen Intelligenz“). Menschen übernehmen KI-Ergebnisse, ohne sie zu hinterfragen – selbst wenn die eigene Erfahrung dagegenspricht. Für Unternehmen ist das längst keine Randfrage der IT-Sicherheit mehr, sondern ein Haftungsthema, das bis zur persönlichen Verantwortung der Geschäftsführung reicht.

Was in der Praxis passiert

Im Unternehmensalltag unterstützt KI heute bei Analyse, Priorisierung und Vorauswahl. Was früher Stunden gebraucht hat, kann oftmals in wenigen Minuten erledigt werden. KI bietet die Chance, den Fokus der eigenen Arbeit auf die dann noch komplexeren Fragen zu verlegen und die (Zwischen-)Ergebnisse der KI – unter anderem aus Gründen der Effizienz – nicht mehr zu hinterfragen. Je zuverlässiger zudem ein System wirkt, desto seltener wird sein Ergebnis noch geprüft. Das BSI beschreibt das in seinem Whitepaper wie folgt:

„Hierbei entwickeln Menschen ein übermäßiges Vertrauen in automatisierte Prozesse, welches in einem unkritischen Umgang mit automatisierter Entscheidungsfindung resultieren kann. Im Extremfall übernehmen Menschen Ausgaben und Ansichten von Maschinen, selbst wenn diese der eigenen Expertise widersprechen und offensichtlich falsch bzw. unglaubwürdig sind (…).“  

Ein Beispiel: Ein KI-System sortiert eingehende Bewerbungen vor und schlägt eine Rangliste vor. Übernimmt die Personalabteilung diese Liste ohne eigene Prüfung, trifft faktisch die KI die Auswahlentscheidung – rechtlich verantwortlich bleibt trotzdem das Unternehmen.

Das BSI beschreibt genau diese Verschiebung in seinem Whitepaper. Durch Automationsbias kann eine Aufgabe faktisch an das KI-System delegiert werden, obwohl es eigentlich nur unterstützen sollte. Der Einfluss der eigentlich verantwortlichen Person entfällt dabei ersatzlos. Das ist der erste Schritt in die Haftung für KI. 

Auch das OLG Hamm (Az. 4 UKl 3/25) hat in seiner viel beachteten Entscheidung zur Haftung von Fehlern eines KI-Chatbots fast schon beiläufig den Automationbias wie folgt beschrieben bzw. zur Begründung seiner Entscheidung herangezogen:

„Die Beklagte geht fehl in der Annahme, an der geschäftlichen Relevanz fehle es deshalb, weil der angesprochene Verbraucher um die Fehleranfälligkeiten von KI-Chatbots und deren „Antworten“ wisse und sich deshalb bewusst sei, dass die von diesem ausgegebenen Informationen stets eines Faktenchecks bedürfen, um als belastbar angesehen zu werden. Dahingehende Erfahrungssätze zeigt die Beklagte nicht auf und existieren auch nicht. Vielmehr trifft es zu, dass ein Großteil der angesprochenen Verbraucher in besonderer Weise auf die Richtigkeit der computergenerierten Antwort vertraut, da Maschinen im Allgemeinen als weniger fehleranfällig als der Mensch wahrgenommen werden. Andernfalls - d. h. bei einem grds. bestehenden Misstrauen der potentiellen Kunden gegenüber der durch die KI-Anwendung generierten Antworten - hätte sich die Beklagte sicherlich auch nicht dazu entschieden, auf ihrer Webseite einen KI-Chatbot zur Kommunikation mit den Kunden zu implementieren.“

Das OLG Hamm musste sich allerdings nur mit der Frage befassen, ob derjenige, der einen KI-Chatbot einsetzt, für dessen Fehler einzustehen hat. Diese Frage hat das OLG Hamm bejaht. Es musste sich aber nicht mit der Frage befassen, ob ein Unternehmen für Fehler von Mitarbeitenden haftet, die allein daraus resultieren, dass diese eine KI-generierte Antwort bzw. ein KI-generiertes Ergebnis ungeprüft in ein Arbeitsergebnis mit Außenwirkung haben einfließen lassen. Ist das Ergebnis falsch und verursacht das bei einem Kunden einen Schaden, wäre die Antwort des OLG Hamm – wenn es auch diese Frage (Haftet das Unternehmen für die KI?) zu beantworten hätte – sehr wahrscheinlich ebenfalls „Ja!“ gewesen.   

Haftet Ihr Unternehmen, wenn die KI falsch liegt?

Dem Kunden ist es am Ende egal, ob er einen Schaden erleidet, weil die Denkleistung eines Menschen zum Fehler geführt hat oder ein fehlerhaftes KI-Ergebnis ohne menschliche Denkleistung weitergegeben wurde. Ist beispielsweise die statische Berechnung für eine tragende Hauswand falsch (z.B. weil die KI eine zuvor vom Bauherren mitgeteilte Variable nicht berücksichtigt hat), haftet das beauftragte Unternehmen für die sich hieraus ergebenen Schäden (§ 280 BGB). Wie das Unternehmen im Innenverhältnis zu dieser falschen Berechnung gelangt, ist für die Haftung gegenüber dem Auftraggeber weniger relevant. Es muss sich die mangelnde Sorgfalt desjenigen, der die KI-Ergebnisse ungeprüft übernommen hat, zurechnen lassen (§ 278 BGB). Dieses Beispiel lässt sich auf beliebige Branchen und Sachverhalte übertragen und kommt vermutlich täglich vor.

Was Unternehmen jetzt tun sollten

Aus dem Risiko einer Haftung für KI folgt jedoch noch kein Grund, auf diese vollständig zu verzichten, sondern ein klarer Organisationsauftrag mit drei Bausteinen:

  1. Schulung: Mitarbeitende müssen verstehen, wie das eingesetzte System arbeitet und wo seine Grenzen liegen. KI-Ausgaben sind Vorschläge, keine Wahrheiten.
  2. Prozessdesign: Kontrollpunkte wie Plausibilitätsprüfungen, Vier-Augen-Freigaben oder risikobasierte Eskalationsstufen verhindern, dass Ergebnisse automatisch durchlaufen.
  3. Verantwortungszuweisung: Für jeden KI-gestützten Prozess sollte dokumentiert feststehen, wer die fachliche Letztverantwortung trägt.

Während in der juristischen Diskussion (fast wie in einem Elfenbeinturm) darüber diskutiert wird, ob Art. 4 KI-VO eine sanktionierbare Pflicht begründet, sollte auf die Vorschrift mit anderen Augen geblickt werden. Mit der Umsetzung der Maßnahmen aus Art. 4 KI-VO soll gerade das vermieden werden, was beispielsweise das BSI in seinem Whitepaper und das OLG Hamm in seiner Entscheidung beschrieben haben. Nur wer seine Mitarbeitenden über die Risiken von künstlicher Intelligenz aufklärt, befähigt diese, KI-erzeugte Ergebnisse zu hinterfragen. Art. 4 KI-VO ist damit letztlich der Versuch einer Antwort auf das Phänomen des Automationbias. Unternehmen sollten das also nicht als lästige Pflicht ansehen, sondern als Chance. Neben der eigenen Haftungsvermeidung dürfte sich durch regelmäßige Schulungen auch der Umgang mit KI verbessern, sodass auch die gewünschte Effizienzsteigerung als positiver Nebeneffekt eintreten dürfte.

Fazit

Wer KI einsetzt, ohne diese drei Punkte organisatorisch abzusichern, riskiert nicht nur Fehlentscheidungen, sondern auch die eigene Haftung.

Häufige Fragen zu Automationsbias und Haftung für KI

Was versteht man unter Automationsbias bei KI-Systemen?

Automationsbias bezeichnet die Tendenz, Ergebnisse automatisierter Systeme unkritisch zu übernehmen. Menschen prüfen KI-Ausgaben dann nicht mehr eigenständig, sondern lassen die Maschine faktisch die Entscheidung treffen – auch wenn das System nur unterstützen sollte.

Haftet ein Unternehmen, wenn eine KI-gestützte Entscheidung fehlerhaft ist?

Ja. Der Verweis auf „die KI“ befreit nicht von der Haftung; im Rahmen einer Kundenbeziehung insbesondere wegen der Verletzung vertraglicher Sorgfaltspflichten (§§ 280, 278 BGB).

Wie können Unternehmen Automationsbias praktisch vorbeugen?

Wirksam sind vor allem drei Maßnahmen: gezielte Schulungen zu Funktionsweise und Grenzen der eingesetzten KI, Kontrollpunkte im Workflow wie Plausibilitätsprüfungen oder Vier-Augen-Freigaben, sowie eine klare, dokumentierte Zuweisung menschlicher Letztverantwortung.

Mehr zu unseren Leistungen im IT- und Datenschutzrecht finden Sie hier:

Gerne bringen wir Ihnen im Rahmen eines unverbindlichen Erstgesprächs die Rechtslage näher und unterstützen Sie dabei, Rechtsklarheit zu gewinnen. Kontaktieren Sie uns jederzeit für ein Kennenlerngespräch. 

Einen Überblick Rund um das Thema KI und Recht im Unternehmen finden Sie in unserem gleichnamigen Fokusthema-Beitrag: KI und Recht im Unternehmen

Weitere Blogbeiträge