Agentic Data & Software Engineering

Die Produktivität mit KI Ihres Teams misst man in Ihrem Git, nicht in Umfragen

Von Xavier Franco, CEO de Elternativa · Grupo Zemsania
· 5 Min. Lesezeit

Mit Unterstützung von KI verfasst und von Xavier Franco geprüft

Frisch gefällter Baumstumpf im Wald, mit deutlich sichtbaren Jahresringen, manche breiter und andere schmaler.
In diesem Artikel

Wenn Sie Ihr Entwicklungsteam fragen, ob KI es produktiver macht, wird es sehr wahrscheinlich Ja sagen. Und vermutlich glaubt es das wirklich. Das Problem ist: Es zu glauben und es zu messen ist nicht dasselbe. Ich formuliere es so: Die Produktivität mit KI Ihres Teams misst man nicht in Umfragen und nicht nach Gefühl. Man misst sie in Ihrem Git.

Die Wahrnehmung täuscht, und zwar gewaltig

Es gibt eine Studie, die das besser zeigt als jedes Argument. 2025 führte METR eine kontrollierte Studie mit 16 erfahrenen Entwicklern aus Open-Source-Projekten durch, an 246 realen Aufgaben. Mit KI brauchten sie 19 % länger, um sie abzuschließen.

Interessant ist, was sie dachten. Vor Beginn erwarteten sie, dass KI sie 24 % schneller macht. Und nach dem Abschluss, als die Verzögerung bereits gemessen war, glaubten sie weiterhin, KI habe sie um 20 % beschleunigt.

Ich schließe daraus nicht, dass KI nichts taugt. Die Studie ist ein konkreter Fall mit ihren Grenzen. Ich schließe etwas anderes daraus: Wenn die Menschen, die es erlebt haben, es nicht richtig wahrgenommen haben, wird Ihnen eine interne Umfrage nicht die Wahrheit sagen.

In der Praxis: Bevor Sie eine Umfrage zur KI durchführen, legen Sie fest, welche Zahl aus Ihrem Repository bestätigen oder widerlegen wird, was geantwortet wird.

Was man messen sollte: die DORA-Metriken

Für die Messung der Softwarelieferung gibt es bereits einen fest etablierten Standard: die DORA-Metriken. Sie fassen fünf Kennzahlen in zwei Blöcken zusammen.

Lieferleistung:

  • Durchlaufzeit für Änderungen: von der Erfassung in der Versionsverwaltung bis zur Produktion.
  • Bereitstellungshäufigkeit: wie viele Bereitstellungen Sie in einem Zeitraum durchführen.
  • Wiederherstellungszeit nach einer fehlgeschlagenen Bereitstellung.

Stabilität:

  • Änderungsfehlerrate: welcher Anteil der Bereitstellungen ein sofortiges Eingreifen erfordert.
  • Nacharbeitsrate: welcher Anteil der Bereitstellungen nicht geplant war und aus einem Produktionsvorfall stammt.

Das Gute an diesen Metriken: Sie ergeben sich aus dem, was Sie bereits haben: Ihrem Git, Ihren Pull Requests und Ihrer CI/CD. Sie hängen nicht davon ab, woran sich jemand erinnert.

Geschwindigkeit ohne Stabilität ist keine Produktivität

Hier liegt die häufigste Falle. KI sorgt dafür, dass mehr Code schneller entsteht. Wenn Sie nur auf die Geschwindigkeit schauen, scheint alles besser zu laufen.

Doch der DORA-Bericht 2025 warnt: Die Einführung von KI verbessert die Lieferleistung, steht aber weiterhin in einem negativen Zusammenhang mit der Stabilität. Mehr Änderungen ohne solide Kontrollen führen zu mehr Instabilität.

Deshalb muss man beide Blöcke gleichzeitig betrachten. Wenn Sie doppelt so viel liefern, aber die Hälfte als Vorfall zurückkommt, haben Sie nichts gewonnen: Sie haben die Arbeit nur verlagert.

In der Praxis: Legen Sie Bereitstellungshäufigkeit und Änderungsfehlerrate auf dasselbe Dashboard. Wenn die eine steigt und die andere auch, müssen Sie reden.

Mit und ohne KI, im selben Repository

Die Frage, die wirklich interessiert, wenn man führt, lautet: Wie viel mehr liefert mein Team mit KI als ohne sie? Und um sie zu beantworten, muss man im selben Repository vergleichen.

Dafür muss man wissen, welche Lieferung aus einem Ablauf mit KI stammt und welche nicht. Ohne diese Markierung vermischt sich alles. Deshalb wird in unserer Methode jede Aufgabe nachvollzogen: wer sie erledigt hat, wie lange sie gedauert hat und ob sie die Validierung bestanden hat. Und das Leistungs-Dashboard zeigt, gemessen an Ihrem eigenen Repository:

  • Der echte Multiplikator: wöchentliche Lieferungen mit und ohne die Methode.
  • Welchen Anteil die KI übernimmt: der Prozentsatz der Lieferungen, die aus dem Ablauf mit KI stammen.
  • Die Agilität: die Zeit bis zur Integration und Validierung und wie sie sich jeden Monat verändert.
  • Auf dem Weg in die Produktion: die Bereitstellungen und die von Menschen unterzeichneten Validierungen.

Was man nicht messen sollte

Ebenso wichtig ist zu wissen, worauf man nicht schauen sollte:

  • Codezeilen. KI schreibt viele davon. Mehr Zeilen bedeuten nicht mehr Wert; manchmal ist es das Gegenteil.
  • Anzahl der Anfragen an die KI. Das misst die Nutzung, nicht das Ergebnis.
  • „Eingesparte“ Stunden nach Angabe jeder einzelnen Person. Wir haben schon gesehen, wie verlässlich die Wahrnehmung ist.

Entscheidend ist, was in Produktion gelangt, validiert und stabil.

In der Praxis: Wenn Ihnen jemand einen Bericht zur Produktivität mit KI zeigt, der auf Codezeilen beruht, verlangen Sie denselben Bericht mit Bereitstellungen und fehlgeschlagenen Änderungen.

Mit Ihren Daten vergleichen, nicht mit Versprechen

Was ich immer vorschlage, ist dasselbe: Vertrauen Sie weder unseren Zahlen noch denen von sonst jemandem. Vergleichen Sie es mit Ihren Daten. Wählen Sie einen Service, den Sie bereits haben, führen Sie ihn parallel mit orchestrierter KI in einem abgegrenzten Umfang aus und vergleichen Sie Kosten, Zeitplan und Qualität in Ihrem eigenen Repository.

Am Ende hat Git keine Meinung. Es hält fest, was integriert wurde, wann und wie oft man zurückgehen musste.

Wo Sie anfangen

  1. Ermitteln Sie die Ausgangslage der DORA-Metriken der letzten Monate.
  2. Markieren Sie, welche Lieferungen aus einem Ablauf mit KI stammen.
  3. Betrachten Sie Geschwindigkeit und Stabilität gemeinsam, nie getrennt.
  4. Verwerfen Sie die Eitelkeitsmetriken, wie Codezeilen.
  5. Vergleichen Sie mit und ohne KI in einem abgegrenzten Umfang, mit Ihren Daten.

Wie wir Ihnen helfen

Bei Agentic Data & Software Engineering orchestrieren wir die Entwicklungs-KIs, die Sie bereits haben, über den gesamten SDLC, und wir beginnen mit einem Service, den Sie bereits haben: Wir führen ihn parallel aus, in einem abgegrenzten Umfang, und vergleichen gemeinsam mit Ihnen Kosten, Zeitplan und Qualität anhand Ihrer Daten.

Wir tun das mit Agentagile, unserer Methodik für die Entwicklung mit KI, die die Produktivität in Ihrem Git misst: Lieferungen mit und ohne KI, welchen Anteil die KI übernimmt, Zeit bis zur Integration und Validierung und von Menschen unterzeichnete Bereitstellungen.

Häufige Fragen

Wie misst man die Produktivität mit KI in der Entwicklung?

Mit Daten aus dem Repository und der CI/CD, etwa den DORA-Metriken, indem man die Lieferungen aus einem Ablauf mit KI mit denen vergleicht, die nicht daher stammen.

Was sind die DORA-Metriken?

Fünf Kennzahlen der Softwarelieferung: Durchlaufzeit für Änderungen, Bereitstellungshäufigkeit, Wiederherstellungszeit, Änderungsfehlerrate und Nacharbeitsrate.

Eignen sich Umfragen, um die Produktivität mit KI zu messen?

Als Ergänzung, aber nicht als Maßstab: In der METR-Studie glaubten die Entwickler, 20 % schneller zu sein, obwohl sie tatsächlich 19 % länger brauchten.

Messen Codezeilen die Produktivität?

Nein. KI erzeugt viel Code; entscheidend ist, was in Produktion gelangt, validiert und stabil.

Weiterlesen