Software Testing & Qualität - Testautomatisierung, KI & Agilität

Wer steckt eigentlich hinter den Testing Boards, wenn die Tester gerade nicht hinschauen? Mit Andrea Kränzlein spreche ich darüber, was es bedeutet, als Backoffice die drei deutschsprachigen ISTQB-Vertretungen am Laufen zu halten, und zwar seit mittlerweile 20 Jahren beim German Testing Board, plus jeweils über einem Jahrzehnt für das Austrian und das Swiss Testing Board. Andrea ist keine Testerin, und gerade das macht ihren Blick auf unsere Community sointeressant. Sie erzählt, wie sie ihr erstes Meeting mit lauter schweigenden Laptopnutzern erlebt hat, was eine Kuhdose mit Timeboxing zu tun hat und wie sich Deutsche, Österreicher und Schweizer in ihrer Boardarbeit liebevoll karikiert unterscheiden. Vielleicht hast Du dann ja Lust, selbst in den Boards mitzuarbeiten :-)

Hartnäckige Qualitätsprobleme, an denen Unternehmen seit Jahren kauen, löst man nicht mit einem 15-seitigen Assessment-Dokument. Mit Pia Wiedermayer und Roman Kirchmeier spreche ich über das Format "Quality Sprint": ein kompakter Workshop-Tag, bei dem alle Betroffenen an einem Tisch sitzen, in strukturierten Interviews zuhören, was die anderen wirklich beschäftigt, und am Ende konkrete Schritte definieren, die tatsächlich im eigenen Wirkungsbereich liegen. Was mich dabei besonders beschäftigt: die Interviews finden bewusst in der großen Runde statt, denn oft genug merken alle erst dabei, dass sie eigentlich über dasselbe Problem reden. Wie der Transfer danach klappt und warum das Follow-up mindestens so wichtig ist wie der Workshop-Tag selbst, erzählen Pia und Roman aus ihrer gemeinsamen Erfahrung mit den Quality Elevators.

Kann man mit 100% Branch Coverage wirklich sicherstellen, dass Code fehlerfrei ist? Mit Roger Butenuth spreche ich darüber, was passiert, wenn man dieses Ziel konsequent verfolgt, und zwar nicht als theoretische Übung, sondern an einem echten, selbst geschriebenen Interpreter für eine Lisp-ähnliche Sprache. Roger erzählt, welche peinlichen Fehler er dabei entdeckt hat, darunter eine handfeste Sicherheitslücke an einer Stelle, die er für zu trivial hielt, um dort einen Bug zu vermuten. Und trotzdem blieb am Ende noch ein Bug übrig, der erst beim Advent of Code auftauchte.

Wer automatisiert testet, baut auf Determinismus, auf Konsistenz, auf klare Erwartungen. Mit Anupam Krishnamurthy spreche ich darüber, warum genau das bei LLMs nicht funktioniert und was wir stattdessen brauchen. Wir gehen der Frage nach, wie man einen Chatbot testet, der nie zweimal die gleiche Antwort gibt, warum ein LLM ein anderes LLM beurteilen kann und wo das an seine Grenzen stößt. Anupam erklärt, wie RAG-Systeme sich in Retrieval und Generation zerlegen lassen, und warum die meisten Fehler im Retrieval stecken.

Was können wir von Bakterien und Motten lernen, um besser mit Unsicherheit umzugehen? Mit Anna Melbinger spreche ich darüber, wie Strategien aus der Natur auf Softwareprojekte und Projektmanagement übertragbar sind. Anna bringt einen ungewöhnlichen Hintergrund mit: Jahre in der Wissenschaft, Physik studiert, biologische Fragestellungen mit Mathematik bearbeitet, und heute im IT-Projektgeschäft. Wir reden darüber, warum Stillstand keine Robustheit erzeugt, warum Bug-Trends oft aussagekräftiger sind als einzelne Bugs, und wann es sich lohnt, bewusst einen Schritt zu tun, der nicht direkt zum Ziel führt, nur um Wissen zu gewinnen. Am Ende landet das Gespräch bei Karl Popper und der Frage, ob das aktive Suchen nach Widerlegung eigentlich die ehrlichste Methode ist, mit komplexen Entscheidungen umzugehen.