KI-Governance für Entscheider: Tempo mit Urteilskraft verbinden

Warum KI-Governance mehr ist als eine Richtlinie

KI-Governance verbindet deshalb Geschwindigkeit mit Verantwortung. Sie legt fest, welche Anwendungen welchen Prüfungen unterliegen, wer Entscheidungen freigibt und wie ein Unternehmen mit Fehlern, Unsicherheit und neuen Risiken umgeht. Eine Richtlinie allein reicht dafür nicht. Entscheidend sind nachvollziehbare Abläufe, klare Zuständigkeiten und die Fähigkeit, ein Ergebnis im Zweifel nicht zu verwenden.

Erst den Anwendungsfall klären, dann das Werkzeug auswählen

Jeder KI-Einsatz sollte mit einer einfachen Frage beginnen: Welche Entscheidung oder welcher Arbeitsprozess soll unterstützt werden?

Vor der Freigabe eines Anwendungsfalls sollten Sie mindestens klären:

• Welches konkrete Ziel soll erreicht werden?
• Welche Daten werden verarbeitet und welche Personen können davon betroffen sein?
• Welche Folgen hätte ein fehlerhaftes Ergebnis?
• Ist der Einsatz reversibel oder kann er eine schwer korrigierbare Entscheidung auslösen?
• Welche Person oder Rolle trägt die Verantwortung für Prüfung und Freigabe?
• Welche Nachweise, Protokolle oder Anbieterinformationen werden benötigt?

So entsteht eine interne Risikologik, ohne gesetzliche Kategorien unzulässig auf jeden KI-Einsatz zu übertragen. Die rechtlichen Anforderungen hängen unter anderem von Rolle, Zweck und Einordnung des Systems ab. Der EU AI Act enthält beispielsweise besondere Anforderungen für bestimmte Hochrisiko-Systeme. Er verpflichtet Anbieter und Betreiber außerdem dazu, Maßnahmen für ausreichende KI-Kompetenz der mit KI befassten Personen zu ergreifen. Das ist von einer umfassenden internen Governance-Struktur zu unterscheiden. [1]

Rollen und Verantwortlichkeiten festlegen

Governance scheitert häufig nicht am fehlenden Tool, sondern an der Frage, wer im konkreten Fall entscheiden darf. Für jeden relevanten Anwendungsfall sollten Sie deshalb einen verantwortlichen Geschäfts- oder Fachbereich benennen und die beteiligten Prüfrollen festlegen.

In der Praxis können dazu je nach Einsatz gehören:

• Geschäftsführung oder Bereichsleitung für Ziel, Risikobereitschaft und Freigabe sensibler Einsatzfelder
• Fachverantwortliche für die inhaltliche Prüfung und die Entscheidung über die Verwendbarkeit eines Ergebnisses
• IT und Informationssicherheit für Zugänge, technische Schutzmaßnahmen, Protokollierung und Anbieterbewertung
• Datenschutz und gegebenenfalls HR, Compliance oder Arbeitnehmervertretung bei personenbezogenen oder personalbezogenen Anwendungen

Diese Aufteilung ist eine organisatorische Empfehlung, keine pauschale gesetzliche Rollenliste. Wichtig ist, dass Verantwortung nicht bei „der KI“ endet und auch nicht stillschweigend allein bei der anwendenden Person liegt. Die Zuständigkeit muss vor dem Einsatz erkennbar sein.

Leitplanken statt Verbotslisten

Eine brauchbare Governance unterscheidet zwischen unkritischen, sensiblen und besonders risikobehafteten Anwendungen. Entwürfe für interne Texte können andere Regeln benötigen als automatisierte Bewertungen von Personen, externe Vertragsinhalte oder Entscheidungen mit erheblichen Folgen.

Für jede Kategorie sollten Sie festlegen:

• Was ist erlaubt, was ist nur nach Freigabe erlaubt und was ist ausgeschlossen?
• Welche Daten dürfen eingegeben werden?
• Wann ist ein Vier-Augen-Prinzip erforderlich?
• Welche Ergebnisse müssen vor einer Weitergabe fachlich und quellenbezogen geprüft werden?
• Wann muss ein Vorgang eskaliert, gestoppt oder nachträglich korrigiert werden?

Die Leitplanken sollten an der tatsächlichen Nutzung ausgerichtet sein. Eine lange Verbotsliste, die im Alltag niemand anwendet, schafft weniger Sicherheit als wenige klare Regeln mit einem funktionierenden Prüfprozess.

Menschliche Kontrolle heißt: verstehen, prüfen und eingreifen können

Menschliche Kontrolle ist mehr als ein abschließender Klick auf „Freigeben“. Die zuständige Person muss die Grenzen des Systems verstehen, das Ergebnis einordnen und bei Bedarf korrigieren oder verwerfen können.

Bei Anwendungen mit höherem Risiko gehören dazu insbesondere:

• eine erkennbare verantwortliche Person
• ausreichende Zeit und Fachkenntnis für die Prüfung
• Zugriff auf die relevanten Eingaben und Quellen
• eine Möglichkeit, das Ergebnis zu überstimmen oder den Vorgang zu stoppen
• eine dokumentierte Eskalation bei Unsicherheit oder widersprüchlichen Ergebnissen

Für Hochrisiko-KI sieht der EU AI Act spezifische Anforderungen an menschliche Aufsicht vor. Diese Anforderungen dürfen nicht pauschal als identische Pflicht für jeden Chatbot oder jede interne Textassistenz dargestellt werden. Als Governance-Grundsatz ist die abgestufte menschliche Kontrolle aber auch außerhalb dieser gesetzlichen Kategorie sinnvoll. [1]

Die Ein-Antwort-Falle vermeiden

Eine einzelne KI-Antwort wirkt oft klarer als mehrere widersprüchliche Quellen. Genau das macht sie gefährlich. Gute Entscheidungsqualität beginnt deshalb mit der Frage, worauf eine Aussage beruht und welche Annahmen darin stecken.

Für wichtige Ergebnisse hat sich ein einfacher Prüfpfad bewährt:

1. Aussage und gewünschte Entscheidung voneinander trennen.
2. Primärquellen zuerst prüfen: zum Beispiel Gesetz, Vertrag, Studie, Originaldaten oder Herstellerdokumentation.
3. Sekundärquellen und KI-Zusammenfassungen als Einordnung, nicht als alleinigen Beleg verwenden.
4. Widersprüche, fehlende Daten und nicht überprüfbare Belege sichtbar markieren.
5. Entscheidung, Freigabe und offene Unsicherheiten dokumentieren.

So wird aus „Die KI sagt …“ eine belastbare Arbeitsgrundlage. Das Prinzip der Quellen-Triangulation und der kritischen Prüfung aus Nr. 019 bleibt dabei erhalten, wird aber in einen organisatorischen Governance-Prozess eingeordnet.

Entscheidungen messbar und nachvollziehbar machen

Governance braucht keine künstliche Kennzahlenflut. Wenige regelmäßig betrachtete Messpunkte reichen aus, wenn sie an den Zweck des Einsatzes gekoppelt sind. Beispiele sind Fehlerquote, Korrekturaufwand, Zeit bis zur Entscheidung, Anteil geprüfter Primärquellen, Zahl der Eskalationen und wiederkehrende Fehlerarten.

Dokumentieren Sie dabei nicht nur das Endergebnis. Für relevante Anwendungsfälle sollte nachvollziehbar sein:

• welcher Zweck und welche Risikoeinschätzung zugrunde lagen
• welches System oder welcher Dienst verwendet wurde
• welche Prüfung stattgefunden hat
• wer freigegeben oder eingegriffen hat
• welche Unsicherheit oder Abweichung bekannt war
• welche Konsequenz aus einem Fehler gezogen wurde

Das NIST AI Risk Management Framework fasst Risikomanagement in den Funktionen Govern, Map, Measure und Manage zusammen. Das Framework ist freiwillig und kein europäisches Gesetz. Als Denk- und Strukturhilfe zeigt es aber, dass Governance nicht als einmalige Richtlinienarbeit, sondern als fortlaufender Prozess über den Lebenszyklus eines KI-Einsatzes angelegt werden sollte. [2]

Ein praktikabler 30/60/90-Tage-Rahmen

Tage 1 bis 30: Bestand und Verantwortung klären: Inventarisieren Sie bestehende KI-Anwendungen, ordnen Sie Ziele und Risiken zu und benennen Sie die verantwortlichen Rollen. Legen Sie erste Regeln für Daten, Freigaben, Quellenprüfung und Eskalation fest. Schulen Sie die Personen, die KI im jeweiligen Kontext tatsächlich einsetzen.

Tage 31 bis 60: Prüfpfade erproben: Testen Sie die Regeln an realen, aber kontrollierbaren Anwendungsfällen. Prüfen Sie Ergebnisse stichprobenartig gegen Primärquellen, suchen Sie systematisch nach Verzerrungen und dokumentieren Sie typische Fehler. Definieren Sie wenige Messpunkte, die eine Verbesserung oder Verschlechterung sichtbar machen.

Tage 61 bis 90: Governance nachschärfen und skalieren: Überarbeiten Sie die Regeln anhand der Erfahrungen. Sensible Anwendungen erhalten eine höhere Prüftiefe, bewährte Standardfälle können einfacher freigegeben werden. Kommunizieren Sie intern, was erlaubt ist, wo Grenzen liegen und wie Mitarbeitende Unsicherheiten oder Vorfälle melden.

Für Organisationen, die ein formales Managementsystem aufbauen möchten, kann ISO/IEC 42001 eine zusätzliche Orientierung bieten. Die Norm beschreibt Anforderungen an ein KI-Managementsystem und dessen kontinuierliche Verbesserung; sie ersetzt weder die Prüfung des konkreten Rechtsrahmens noch eine passgenaue interne Entscheidung. [3]

Typische Fehler in der KI-Governance

• Eine allgemeine KI-Richtlinie ohne konkrete Verantwortliche und Freigabewege
• Gleich strenge Regeln für jeden Anwendungsfall, unabhängig von seinem Risiko
• Vertrauen in gut formulierte Antworten ohne Prüfung von Quellen und Annahmen
• Schulungen, die nur Funktionen erklären, aber keine Fehlerszenarien und keine Entscheidungspraxis enthalten
• Fehlende Protokolle, sodass Fehler nicht nachvollzogen und Regeln nicht verbessert werden können
• Eine Governance, die nur auf Verbote setzt und dadurch informelle Schattennutzung begünstigt

Checkliste für Entscheider

• Ist der konkrete Zweck des KI-Einsatzes dokumentiert?
• Sind Daten, betroffene Personen und mögliche Folgen bekannt?
• Ist eine verantwortliche Rolle benannt?
• Sind Prüf-, Freigabe- und Eskalationsregeln verständlich?
• Werden wichtige Aussagen gegen passende Primärquellen geprüft?
• Kann eine zuständige Person das Ergebnis korrigieren, überstimmen oder den Vorgang stoppen?
• Werden Entscheidungen, Unsicherheiten und Fehler nachvollziehbar dokumentiert?
• Wird die Governance regelmäßig anhand realer Nutzung weiterentwickelt?

Fazit

KI-Governance verbindet Geschwindigkeit mit klarer Verantwortung. Sie macht Risiken sichtbar, ordnet Zuständigkeiten und verhindert, dass wichtige Entscheidungen ungeprüft an ein System delegiert werden. Fehler lassen sich damit nicht vollständig ausschließen, aber früher erkennen und kontrollierter behandeln.