KI: Die moderne Art zu scheitern oder die moderne Art, besser zu arbeiten?

Künstliche Intelligenz ist das mächtigste Werkzeug unserer Zeit und gleichzeitig eine der bequemsten Möglichkeiten, kontrolliert und mit Ansage zu scheitern.

Denn KI produziert souveräne, flüssige und oft beeindruckend Antworten. Nur leider sind die nicht immer richtig. Und genau dort beginnt das Problem.

Dieser Beitrag ordnet ein, wo KI systematisch an ihre Grenzen stößt, warum sie neue Fehler produziert – und welche Leitplanken Unternehmen brauchen, damit aus der „modernen Art zu scheitern“ die moderne Art wird, besser zu arbeiten.

KI ist gekommen, um zu bleiben – auch da, wo sie wehtut

Es gab schon viele Technologie-Hypes. Doch der aktuelle KI-Hype ist anders: Er verschwindet nicht in einer Nische, sondern zieht in den Alltag ein. KI steckt längst überall – in Smartphones, Office-Suiten, CRM- und Ticketsystemen, Code-Editoren – und rückt Schritt für Schritt näher an produktive Systeme heran. Dort werden Fehler schnell geschäftskritisch.

Besonders dann, wenn KI nicht nur Fragen beantwortet oder Bilder generiert, sondern eigenständig handelt, also agentisch eingesetzt wird, zum Beispiel beim:

• E-Mails verschicken
• Tickets anlegen
• Deployments anstoßen
• Interagieren mit Datenbanken

Diese agentische KI ist technisch faszinierend, aus Sicht von Sicherheit und Compliance aber ein Risiko: Aus einem Tool, das Vorschläge macht, wird ein System, das Prozesse anstößt und Entscheidungen vorbereitet.

Um zu verstehen, warum das heikel ist, lohnt ein Blick auf die Grundlagen: Wie „intelligent“ ist diese Intelligenz eigentlich wirklich?

Was KI wirklich kann: Wahrscheinlichkeiten, nicht Weltwissen

Ein verbreitetes Missverständnis: KI denkt. KI versteht.

Beides stimmt nicht. KI in Form großer Sprachmodelle ist eine Wahrscheinlichkeitsmaschine. Sie betrachtet, welches Wort mit welcher Wahrscheinlichkeit auf welches andere Wort folgt, kombiniert das mit Kontext, und erzeugt daraus Texte. Mehr nicht.

Ein Beispiel macht das greifbar: Auf die Frage nach Gemeinsamkeiten zwischen einem Reißverschluss und einem Meerschweinchen antwortete ein aktuelles Modell: „Es kostet etwas Mühe, sie zu öffnen.“

Formal klingt das stimmig, inhaltlich ist es Unsinn. Das Modell kennt keine Begriffe, keine Vorstellung von „Kleidung“ oder „Nagetiere“. Es arrangiert Sprachmuster, die so ähnlich schon einmal irgendwo standen.

Dazu kommt die Qualität der Trainingsdaten. In die Modelle fließt alles, was wir als Menschheit so ins Web kippen: Foren, Social Media, Blogbeiträge, öffentliche GitHub-Repositories mit Profi- aber eben auch mit viel Amateurcode.

Damit ist klar: Das Fundament ist mächtig, aber nicht sauber. Und das zeigt sich besonders deutlich in einem Phänomen, das mittlerweile einen eigenen Namen hat.

Halluzinationen: Wenn die Maschine mit 100 % Überzeugung danebenliegt

Zu den strukturellen Schwächen von KI gehören Halluzinationen.

Sprachmodelle erfinden Inhalte, URLs, mathematische Ergebnisse oder „Fakten“, die nie existiert haben, und zwar mit maximaler Überzeugung. Für Nutzerinnen und Nutzer sieht das aus wie eine korrekte Antwort.

Eine Studie, die verschiedene Sprachmodelle vergleicht, zeigt:

27 Prozent aller „Fakten“ waren falsch. Jede vierte Aussage.

Würden Sie eine Mitarbeiterin an den Kundentresen stellen, die jeden vierten Satz frei improvisiert, auch wenn er dabei überzeugend klingt? Vermutlich nicht.

Gleichzeitig ist KI extrem konsistent in ihren Fehlern: Sie macht bei ähnlichen Eingaben immer wieder dieselben falschen Annahmen. Wir Menschen dagegen lernen – im Normalfall – dazu.

Die Konsequenz: KI ist kein Nachschlagewerk. Der KI kann man nicht blind vertrauen, und ohne das passende Domänenwissen weiß man oft nicht einmal, an welcher Stelle sie Unsinn generiert oder übersteuert.

Was in vielen Fällen „nur“ peinlich ist, kann in regulierten Bereichen oder im Kundenkontakt schnell teuer werden.

Vibe Coding: Softwareentwicklung nach Horoskop

Beim sogenannten „Vibe Coding“, das aktuell in aller Munde ist, beschreiben Entwicklerinnen und Entwickler grob, was sie erwarten, statt Architektur bewusst zu entwerfen, Anforderungen sauber zu strukturieren und Entscheidungen transparent zu begründen: Systemverarbeitung, Kundendaten, ein bisschen Logging, Security ist auch nicht verkehrt – das Übliche halt.

Die KI baut daraus ein System. Doch was entsteht, ist treffender beschrieben als Softwareentwicklung nach Horoskop. Es klingt plausibel, aber niemand weiß genau, warum es so aussieht, und noch weniger, welche Bibliotheken, Sicherheitsmechanismen oder Schwachstellen im Detail verbaut sind.

Ohne tiefes Expertenwissen ist dieser Code kaum zu bewerten. Trotzdem werden KI-Editoren gerade zum Kernbestandteil moderner Entwicklungsumgebungen. Das Verständnis der Systeme bleibt dabei oft auf der Strecke.

Neben dem „Was“ (Inhalte, Code) stellt sich damit eine zweite Frage: „Wo“ läuft all das und wie stark koppeln wir uns an diese Systeme?

Wie KI sich in Systeme und Entscheidungen einklinkt

Was zunächst wie ein Komfortfeature wirkt, hat eine weitere Seite. Mit jeder neuen KI-Funktion in E-Mail, Doku-Tool oder Ticketsystem lagern Unternehmen Entscheidungen und Verarbeitungsschritte an Systeme aus, deren Datenflüsse und Logik sie nur begrenzt sehen.

Abhängigkeiten durch KI entstehen heute leiser, als vielen bewusst ist. KI-Funktionen ziehen als Zusatzmodule, Co-Piloten oder Assistenten in bestehende Software ein. Mit jedem aktivierten Häkchen wandern Kontexte, Benutzerinformationen und Inhalte in Modelle und Dienste, deren Verhalten sich nur bedingt kontrollieren lässt.

Schatten-KI: Warum „keine KI“ auch keine Lösung ist

An dieser Stelle liegt eine naheliegende Reaktion: „Dann führen wir KI im Unternehmen einfach gar nicht ein.“ Kurzfristig vermeidet das scheinbar Risiken. Langfristig verschiebt es sie nur oder macht sie sogar größer.

Denn wenn es keine klaren, offiziellen Angebote und Leitplanken gibt, suchen sich Fachbereiche eigene Wege. Mitarbeitende probieren Tools aus, die gerade viral gehen, oder greifen zu dem Assistenten, den sie privat ohnehin täglich nutzen. So entsteht Schatten-KI mit unklaren Datenflüssen, nicht dokumentierten Entscheidungen und kaum nachvollziehbaren Risiken.

Wenn Unternehmen keine kontrollierten Lösungen bereitstellen, landen Quellcode, Meeting-Transkripte oder vertrauliche Dokumente früher oder später in frei gewählten Assistenten – inklusive der Gefahr, später in Trainingsdaten aufzutauchen.

Die eigentliche Entscheidung lautet daher nicht „KI ja oder nein“, sondern: Nutzen wir KI bewusst und kontrolliert oder überlassen wir sie dem Zufall?

Wenn es vorher schon ruckelt, löst auch KI die Probleme nicht

Damit rückt eine weitere Ebene in den Fokus: der Zustand der Strukturen, auf die KI überhaupt trifft. In den wenigsten Unternehmen kommt KI auf einer grünen Wiese zum Einsatz. Sie trifft auf bestehende Prozesse, Datenbestände und Werkzeuge.

In vielen Tools ist KI heute nur einen Klick entfernt: als Häkchen im CRM, als Assistent im Ticketsystem, als Co-Pilot im Code-Editor. Richtig eingesetzt, kann sie Routinen beschleunigen, Inhalte vorsortieren und Teams entlasten.

Problematisch wird es dort, wo die Grundlage nicht stimmt:

• Prozesse sind gewachsen, aber nicht dokumentiert.
• Daten liegen verteilt in Excel-Listen, E-Mail-Postfächern und Freitextfeldern.
• Verantwortlichkeiten sind unklar. Es gibt viele „Man macht das halt so“-Lösungen.

Wenn KI auf so eine Umgebung trifft, verhält sie sich weniger wie ein Problemlöser, sondern dreht an Zahnrädern, die ohnehin schon nicht sauber ineinandergreifen. Wenn man sie schneller dreht, verbessert sich nichts. Es scheppert nur lauter.

Dazu kommt ein langfristiger Effekt: Je tiefer KI-Funktionen in Produkte eingebaut werden, desto schwieriger wird es, sie später wieder gezielt zurückzubauen oder zu ersetzen.

Doch die Schlussfolgerung ist nicht, KI zu vermeiden, sondern sie bewusst aufgeräumten Strukturen vorzuschalten: Erst Prozesse klären, dann automatisieren, nicht umgekehrt.

Drei Leitplanken für souveränen KI-Einsatz

Trotz all dieser Risiken ist KI kein Schreckgespenst. Im Gegenteil: Richtig eingesetzt, ist sie ein extrem nützliches Werkzeug. Entscheidend sind drei Leitplanken:

1. KI lokal oder zumindest streng kontrolliert betreiben

Wo immer möglich, sollten Unternehmen eigene, kontrollierbare KI-Infrastruktur nutzen oder auf klar geregelte Services setzen mit

• nachvollziehbaren Datenflüsse
• klaren Rollen- und Rechtekonzepten
• gutem Monitoring von Kontext, Logging und Zugriffen

Je sensibler die Daten, desto weniger haben sie in undurchsichtigen Fremdmodellen zu suchen.

2. Softwareauswahl mit Augenmaß: Der KI-Haken ist kein Qualitätsmerkmal.

Gute Software erkennt man nicht daran, dass überall ein „KI aktivieren“-Kästchen steht.

Wichtiger sind:

• Standards und saubere Integrationen
• die Möglichkeit, KI-Funktionen abzuschalten
• transparente Optionen zur Konfiguration und Kontrolle

KI-Häkchen ohne Governance werden sonst zu den Altlasten von morgen.

3. KI ist Assistent, nicht Mitarbeiter.

KI ersetzt keine Fachabteilung. Sie ist ein Werkzeug für Profis und nicht der „Kollege“, der Entscheidungen trifft.

Das bedeutet:

• KI liefert Entwürfe, Ideen und Zusammenfassungen, aber der Mensch trifft die Entscheidung.
• Statt das offene Internet abzufragen, sollten interne Wissensquellen angebunden werden (z. B. über Retrieval Augmented Generation).
• Wichtige Inhalte und Aktionen laufen unter einem Vier-Augen-Prinzip. Dabei können diese Augen auch virtuell sein.

KI ist die moderne Art zu scheitern oder eben die moderne Art, besser zu arbeiten

Mit Halluzinationen, fehlendem Weltwissen, Agenten ohne Kontrolle, rechtlichen Risiken, Abhängigkeiten und KI als Brandbeschleuniger chaotischer Strukturen bietet KI reichlich Möglichkeiten, spektakulär zu scheitern.

Mindestens genauso groß ist aber ihr Potenzial in die andere Richtung: Wenn Unternehmen ihre Datenlage sortieren, Verantwortlichkeiten klären und KI bewusst als Werkzeug für Profis einsetzen, wird aus der „modernen Art zu scheitern“ die moderne Art, besser zu arbeiten: für klarere Entscheidungen, entlastete Teams und Zahnräder, die tatsächlich sauber ineinandergreifen.