Rote Linie für KI im Coding, welche Entscheidungen beim Menschen bleiben

„Die KI kann besser coden als ich.“ Diesen Satz hört man in Dev Teams gerade oft. Bei einzelnen Aufgaben stimmt er sogar. Wir arbeiten selbst jeden Tag mit OpenCode und Open Weight Modellen und wollen darauf nicht mehr verzichten. Genau deshalb lohnt sich ein genauer Blick auf den Denkfehler dahinter: Wir verwechseln Brillanz mit Zuverlässigkeit. Ein Modell löst ein Problem in Sekunden, die Begründung klingt sauber, und aus „das war richtig gut“ wird schnell „dann stimmt das nächste wohl auch“.

Gregor Biswanger hat diese Frage gerade auf LinkedIn gestellt: Welche Entscheidung würdet ihr einer KI heute niemals vollständig überlassen? Er spricht darüber auch mit Dr. Florian Rappl in Folge 32 ihres Podcasts My Coding Zone. Wir finden die Frage so wichtig, dass wir sie hier beantworten. Mit Studien, mit unserem Setup und mit einer klaren Regel.

Was die BCG Studie zur Jagged Frontier zeigt

Forscher von Harvard, Wharton und MIT haben 2023 mit Boston Consulting Group ein vorregistriertes Experiment gemacht. 758 Berater, rund sieben Prozent der BCG Berater auf dieser Ebene, lösten realistische Aufgaben mit und ohne GPT-4. Das Ergebnis ist zweigeteilt:

• Innerhalb der Fähigkeitsgrenze: 12,2 Prozent mehr erledigte Aufgaben, 25,1 Prozent schneller, über 40 Prozent höhere Qualität.
• Außerhalb der Fähigkeitsgrenze: Teilnehmer mit KI lagen 19 Prozentpunkte seltener richtig als die Gruppe ohne KI.

Gleiches System, komplett anderes Ergebnis. Die Autoren nennen das die Jagged Technological Frontier. Alle Details zur Studie stehen in unserem Glossar Eintrag zur Jagged Frontier. Das Tückische daran: Die Grenze ist unsichtbar. Aufgaben, die sich ähnlich anfühlen, liegen mal drin und mal draußen. Wer nach drei starken Antworten der vierten blind vertraut, läuft genau in diese Falle.

Klingt kompetent heißt nicht stimmt

Noch unangenehmer ist eine Studie von Mark Steyvers und Kollegen an der UC Irvine, erschienen 2025 in Nature Machine Intelligence. Längere Erklärungen eines Sprachmodells steigerten das Vertrauen der Teilnehmer. Sie halfen aber nicht dabei, richtige von falschen Antworten zu unterscheiden. Die Länge wirkte wie ein Qualitätssignal, obwohl sie keines war.

There’s a disconnect between what LLMs know and what people think they know.

Mark Steyvers, Professor für Cognitive Sciences, UC Irvine

Für Coding heißt das: Eine ausführliche Architekturbegründung im Chat ist kein Beweis. Ein grüner Test ist einer. Deshalb verlassen wir uns nicht auf das Gefühl beim Lesen, sondern auf Prüfungen, die nicht überredet werden können.

Wenn der Agent nicht mehr antwortet, sondern handelt

Solange KI nur antwortet, liest ein Mensch mit. Bei AI Agents ändert sich das. Sie schreiben Dateien, führen Befehle aus, öffnen Merge Requests und stoßen Deployments an. Ein Fehler außerhalb der Fähigkeitsgrenze bleibt dann nicht im Chatfenster. Er landet im Repository oder im Produktivsystem. Dazu kommen neue Angriffswege wie Prompt Injection bei KI Agenten.

Und dann kommt fast immer das Argument: „Menschen machen doch auch Fehler.“ Natürlich. Klar, beide machen Fehler. Entscheidend sind vier andere Fragen:

• Welche Fehler entstehen, und sehen sie auf den ersten Blick plausibel aus?
• Wann fallen sie auf, im Review oder erst beim Kunden?
• Wie erkennen wir sie, durch Gefühl oder durch Prüfung?
• Wer trägt am Ende die Verantwortung?

Was darf KI im Coding entscheiden und was nicht

Gregor fragt nach Code Review, Merge, Architektur, Deployment und Änderungen am Produktivsystem. So sieht unsere Antwort aus:

Entscheidung	KI darf	Mensch entscheidet	Guardrail
Code schreiben	Ja, auch große Teile	Was gebaut wird	PHPStan, Psalm, Rector, Unit Tests
Code Review	Vorprüfen, Hinweise geben	Finale Freigabe	Review Pflicht im Merge Request
Merge	Vorschlagen	Immer	Geschützter Branch, grüne Pipeline
Architektur	Sparring, Varianten zeigen	Immer	Festgehaltene Entscheidungen und Regeldateien
Deployment	Pipeline vorbereiten	Live Freigabe	Staging, Cypress E2E Tests
Produktivsystem	Nichts direkt	Immer	Kein Zugriff für Agents

Die Tabelle folgt einer einfachen Regel: KI darf alles, was ein automatisches Gate prüft und was sich zurückdrehen lässt. Code ohne Merge ist harmlos, er lässt sich verwerfen. Ein Merge ohne Mensch, eine Architekturentscheidung ohne Mensch oder ein Eingriff ins Produktivsystem sind es nicht. Dort fehlt entweder die Prüfung oder der Weg zurück. Und genau dort bleibt die Verantwortung beim Team.

Wie die Guardrails in der Praxis aussehen

Gegen eine unsichtbare Grenze hilft kein besseres Bauchgefühl. Es hilft eine Kette von Prüfungen, die jeden Agent Commit gleich behandelt:

• Statische Analyse zuerst: PHPStan, Psalm und Rector bei PHP, Ruff und mypy bei Python. Der Agent lässt sie lokal laufen, bevor er pusht.
• Tests als Wahrheit: Unit Tests für die Logik, Cypress E2E Tests für die Wege, die Nutzer wirklich gehen. Welche Tests mit Agents wichtiger werden, zeigt unsere Testpyramide für KI Agents.
• Pipeline als Gate: Jeder Merge Request läuft durch GitHub Actions oder GitLab CI. Live geht nur, was vorher grün war. Das richten wir im CI/CD Pipeline Setup ein.
• Regeln statt Hoffnung: Architekturentscheidungen stehen in Regeldateien für den Agent. Wie das aussieht, zeigen die NCA PHP AI Coding Guidelines und der Beitrag zu Code Qualität mit KI Agenten.

Ein Haken bleibt: Auch eine grüne Pipeline prüft nur, was jemand vorher als Test formuliert hat. Wenn KI Code, Tests und Review liefert, kann alles grün sein und trotzdem am Problem vorbeigehen. Deshalb bleibt der fachliche Blick beim Menschen. Mehr zu typischen Fallen steht in Vibe Coding Risiken.

Warum wir Verantwortung an die KI abgeben

Im Podcast geht es auch darum, wie Filme wie Matrix oder Terminator unser Bild von KI prägen. Dort übernehmen Maschinen mit Gewalt die Kontrolle. Die reale Gefahr ist leiser. Wir geben Denken und Verantwortung freiwillig ab, weil die Ergebnisse immer überzeugender werden. Wer dazu mehr lesen will: Unser Beitrag zur Vertrauenskrise bei OpenAI zeigt, wie schnell ein starkes Ergebnis zu einem falschen Versprechen wird.

Und wo zieht ihr die Linie?

Unsere Antwort steht in der Tabelle. Uns interessiert eure. Lasst ihr KI mergen, wenn die Pipeline grün ist? Darf ein Agent bei euch deployen? Und warum zieht ihr die Grenze genau dort? Schreibt es in die Kommentare.

Fazit

KI ist bei vielen Aufgaben brillant und bei manchen überzeugend falsch. Die Grenze dazwischen ist gezackt und unsichtbar. Darum setzen wir auf Gates: statische Analyse, Tests, Pipeline. Alles, was diese Gates prüfen und was sich zurückdrehen lässt, darf die KI machen. Merge, Architektur und Produktivsystem bleiben beim Menschen.