Software Testing & Qualität - Testautomatisierung, KI & Agilität

Hartnäckige Qualitätsprobleme, an denen Unternehmen seit Jahren kauen, löst man nicht mit einem 15-seitigen Assessment-Dokument. Mit Pia Wiedermayer und Roman Kirchmeier spreche ich über das Format "Quality Sprint": ein kompakter Workshop-Tag, bei dem alle Betroffenen an einem Tisch sitzen, in strukturierten Interviews zuhören, was die anderen wirklich beschäftigt, und am Ende konkrete Schritte definieren, die tatsächlich im eigenen Wirkungsbereich liegen. Was mich dabei besonders beschäftigt: die Interviews finden bewusst in der großen Runde statt, denn oft genug merken alle erst dabei, dass sie eigentlich über dasselbe Problem reden. Wie der Transfer danach klappt und warum das Follow-up mindestens so wichtig ist wie der Workshop-Tag selbst, erzählen Pia und Roman aus ihrer gemeinsamen Erfahrung mit den Quality Elevators.

Kann man mit 100% Branch Coverage wirklich sicherstellen, dass Code fehlerfrei ist? Mit Roger Butenuth spreche ich darüber, was passiert, wenn man dieses Ziel konsequent verfolgt, und zwar nicht als theoretische Übung, sondern an einem echten, selbst geschriebenen Interpreter für eine Lisp-ähnliche Sprache. Roger erzählt, welche peinlichen Fehler er dabei entdeckt hat, darunter eine handfeste Sicherheitslücke an einer Stelle, die er für zu trivial hielt, um dort einen Bug zu vermuten. Und trotzdem blieb am Ende noch ein Bug übrig, der erst beim Advent of Code auftauchte.

Wer automatisiert testet, baut auf Determinismus, auf Konsistenz, auf klare Erwartungen. Mit Anupam Krishnamurthy spreche ich darüber, warum genau das bei LLMs nicht funktioniert und was wir stattdessen brauchen. Wir gehen der Frage nach, wie man einen Chatbot testet, der nie zweimal die gleiche Antwort gibt, warum ein LLM ein anderes LLM beurteilen kann und wo das an seine Grenzen stößt. Anupam erklärt, wie RAG-Systeme sich in Retrieval und Generation zerlegen lassen, und warum die meisten Fehler im Retrieval stecken.

Was können wir von Bakterien und Motten lernen, um besser mit Unsicherheit umzugehen? Mit Anna Melbinger spreche ich darüber, wie Strategien aus der Natur auf Softwareprojekte und Projektmanagement übertragbar sind. Anna bringt einen ungewöhnlichen Hintergrund mit: Jahre in der Wissenschaft, Physik studiert, biologische Fragestellungen mit Mathematik bearbeitet, und heute im IT-Projektgeschäft. Wir reden darüber, warum Stillstand keine Robustheit erzeugt, warum Bug-Trends oft aussagekräftiger sind als einzelne Bugs, und wann es sich lohnt, bewusst einen Schritt zu tun, der nicht direkt zum Ziel führt, nur um Wissen zu gewinnen. Am Ende landet das Gespräch bei Karl Popper und der Frage, ob das aktive Suchen nach Widerlegung eigentlich die ehrlichste Methode ist, mit komplexen Entscheidungen umzugehen.

Wer programmieren lernt, ohne je einen Lötstift in der Hand gehabt zu haben, wer Code generiert, ohne zu verstehen, in welchem Umfeld er läuft, und wer darauf vertraut, dass Vibecoding schon irgendwie funktioniert: Genau das diskutiere ich mit Marc Bless und Thomas Ronzon. Wir reden darüber, was es heute wirklich braucht, um Systeme zu durchdringen, warum das T-Shape-Modell nicht mehr reicht und was passiert, wenn die Mittelschicht der Entwicklung einfach wegbricht. Dabei geht es nicht nur um Technologie, sondern auch um Vertrauen: in Systeme, in KI, in Menschen.