- Vortrag: JUG Saxony Day 2026, Radebeul bei Dresden, 25. September 2026
- Sprecher: Eberhard Wolff (Head of Architecture bei SWAGLab)
- Links: https://swaglab.rocks/ · https://ewolff.com/
- Folien & mehr: E-Mail an jugsaxony2026@ewolff.com (automatische Antwort via Amazon Lambda; E-Mail-Adresse wird 14 Tage geloggt, falsch adressierte Mails werden manuell bearbeitet)
Abstract
Die wichtigste Fähigkeit in der IT ist Kommunikation, die größte Herausforderung in der Softwarearchitektur sind Soft Skills — wie sollen LLMs genau diese Probleme lösen? Der Vortrag geht der Frage nach, ob KI Softwarearchitekt:innen ersetzen kann. Ausgangspunkt ist ein KI-gestütztes Architektur-Review mit einem sachlich falschen Ergebnis. Daraus folgen zwei Fragen: Lassen sich Menschen zu leicht von KI überzeugen? und Können LLMs zuverlässig sein?
Anschließend: sinnvolle Use Cases und Anti-Patterns für KI in der Architekturarbeit, Prognosen zu Produktivität und Arbeit (Rebound-Effekt), ethische Fragen — und was Architekt:innen stattdessen tun sollten.
Agenda
- Motivation: Was ist die wichtigste Fähigkeit in der IT?
- Ein Architektur-Review mit KI
- Lassen sich Menschen zu leicht von KI überzeugen?
- Können LLMs zuverlässig sein?
- Wie kann man KI für Softwarearchitektur nutzen?
- Prognosen
- Ethik
- Was nun?
- Fazit
01. Motivation. Die wichtigste Fähigkeit in der IT
Was ist die wichtigste Fähigkeit in der IT?
- Umfrage auf einer technischen Konferenz — ohne vorher über mögliche Antworten nachzudenken.
- Mit Abstand häufigste Antwort: Kommunikation, Soft Skills …
- Quelle: https://software-architektur.tv/2024/08/16/episode228.html
Was ist die größte Herausforderung in der Softwarearchitektur?
Umfrage über Social Media („What is the biggest challenge in #SoftwareArchitecture in your opinion?"):
- Kommunikation
- Organisation und Architektur
- Evolution von Systemen
- Quelle: https://software-architektur.tv/2025/06/27/folge269.html
Was bedeutet das?
- Wichtigste Fähigkeit in der IT: Kommunikation
- Größte Herausforderung in der Softwarearchitektur: Soft Skills
- Wie sollen LLMs / KI diese Herausforderungen lösen?
- LLMs können trotzdem nützlich sein!
Software architecture is a people business! — And you know it!
02. Ein Architektur-Review mit KI
Das Szenario
„We reviewed your architecture. It uses message-oriented middleware! I.e. Apache ActiveMQ and Apache Artemis." — „No, actually it doesn’t use any message-oriented middleware."
Fragen an das Publikum:
- Würdest du dem Rest des Reviews noch vertrauen?
- Würdest du uns für weitere Reviews beauftragen?
- Würdest du uns für andere Dienstleistungen beauftragen?
- Ist das ein kleiner oder ein großer Fehler?
Der Hintergrund
- Dirk Mahler (jQAssistant) hat genau dieses Ergebnis aus einem KI-Experiment berichtet.
- jQAssistant: Tool für Architekturmanagement.
- Setup: Claude mit MCP-Zugriff auf jQAssistant-Daten in Neo4j.
- Quelle: https://www.linkedin.com/posts/dirk-mahler-837a4b5_ai-neo4j-claude-activity-7321596753223340033-xz4r/
Reaktionen (kurze LinkedIn-Diskussion)
- „It’s a matter of context if speed or accuracy is more important…"
- „Would be interesting to see where the wrong information came from."
Einordnung
- Es ist nur ein Experiment — und es geht nicht um die Nützlichkeit des MCP-Interfaces.
- Aber es regt zum Nachdenken an.
- Meinung des Sprechers: Das Ergebnis ist offensichtlich überhaupt nicht hilfreich.
Daraus folgen zwei Fragen:
- Lassen sich Menschen zu leicht von KI überzeugen?
- Können LLMs zuverlässig sein?
03. Lassen sich Menschen zu leicht von KI überzeugen?
ELIZA (Joseph Weizenbaum, 1966)
- Imitiert eine:n Psychotherapeut:in.
- Der Sprecher erinnert sich an ein BASIC-Listing aus den 1980ern mit ~100 Zeilen.
- Live-Demo: ELIZA in Emacs.
- Quelle: https://de.wikipedia.org/wiki/ELIZA
ELIZA-Ergebnisse
- Das System hat von nichts eine Ahnung — es manipuliert trivial Text.
- Trotzdem glauben Menschen, es gäbe Verständnis.
- Weizenbaums Büroleiterin bat ihn, ihre Gespräche mit ELIZA nicht zu lesen.
- ELIZA-Effekt: Menschen schreiben Chatbots menschliche Eigenschaften zu.
- Psychotherapeut:innen erwogen, Therapie mit ELIZA zu automatisieren.
- Die Erfahrung machte Weizenbaum zum KI-Kritiker.
- Quellen: https://en.wikipedia.org/wiki/ELIZA_effect, https://en.wikipedia.org/wiki/ELIZA
Also: Ja, Menschen lassen sich leicht überzeugen
- ELIZA-Effekt
- Nature-Paper: GPT-4 ist in Debatten überzeugender als Menschen — https://www.nature.com/articles/s41562-025-02194-6
- Kann sogar Psychosen auslösen: „A Man Bought Meta’s AI Glasses, and Ended Up Wandering the Desert Searching for Aliens to Abduct Him" — https://futurism.com/artificial-intelligence/meta-ai-glasses-desert-aliens
- Ja, Menschen lassen sich leicht von KI überzeugen. Das wissen wir seit den 1960ern.
Warum ist Überzeugungskraft relevant?
- LLMs machen Fehler (wie gesehen).
- Wir müssen LLMs gegenüber skeptisch sein.
- Schwierig: Sie sind überzeugend.
- Wir werden Diskussionen führen, in denen LLMs überzeugender sind als wir.
Beispiel Architekturberatung:
„I think we shouldn’t do this." — „But the LLM says otherwise."
…was strukturell dasselbe ist wie:
„I think we shouldn’t do this." — „But some person at some conference said otherwise."
04. Können LLMs zuverlässig sein?
„Halluzinationen"
- LLMs produzieren „Halluzinationen".
- Der Begriff ist irreführend: Halluzination = „perception in the absence of an external context stimulus".
- LLMs haben keine „Wahrnehmungen".
- LLMs generieren falsche Informationen.
- Quelle: https://en.wikipedia.org/wiki/Hallucination
Beispiel: Ein Video zusammenfassen
- Prompt: „Sum up this YouTube video!" — mit korrektem YouTube-Link.
- ChatGPT: Ein Reporter fragt Menschen auf der Straße nach ihren Liebsten.
- Tatsächlich geht es in dem Video um Trump.
- …und man kann ChatGPT dazu bringen, es „zusammenzufassen" — die Zusammenfassung bleibt fragwürdig.
- Wer hat Ähnliches erlebt? Warum würde man das für Softwarearchitektur nutzen?
- Quelle: https://chatgpt.com/share/69b1c3c9-95e8-800f-b433-bb6e4b3ca66e
LLMs sind für Konversation gebaut
- Niemand prüft in einem Gespräch alles, was gesagt wird.
- Falsche Informationen halten ein Gespräch am Laufen.
- Falsche Informationen sind ein Feature, kein Bug.
- In einem Review prüft der Sprecher hingegen alles, was er liefert.
Wie LLMs funktionieren
Prompt + Context Window → LLM (probabilistische Vorhersage des nächsten Wortes) → Output
- Text-Generator.
- Kein explizites Modell der Welt, der Wahrheit, …
LLMs sind auf Tests optimiert
- Evaluationstests für LLMs bestrafen „Ich weiß es nicht".
- Also raten LLMs irgendeine Antwort — wie Studierende in einer Prüfung.
- Ließe sich eventuell durch andere Belohnungen in Tests beheben.
- Quelle: https://openai.com/index/why-language-models-hallucinate/
Liegt es nur an den Trainingsdaten?
Schlechte Trainingsdaten erklären nicht…
- …die Video-Zusammenfassung,
- …Dirks jQAssistant-Experiment.
In beiden Fällen stehen die Daten im Prompt — direkt oder via MCP.
- Das sind „intrinsische Halluzinationen": der generierte Output widerspricht dem Quellinhalt.
- Bessere Trainingsdaten lösen dieses Problem nicht.
- Quellen: https://arxiv.org/html/2202.03629v7, https://chatgpt.com/share/68ebc488-0b2c-800f-8455-193c32feccf3, https://software-architektur.tv/2025/04/11/episode260.html
Text-Generator in Aktion
- Generiert einen Text, der die Produktionsdatenbank löscht.
- Generiert danach einen Text, der erklärt, warum das falsch war.
- Erklärung: kein Modell von „Wahrheit".
Sind LLMs für Softwarearchitektur optimiert?
- Wie gut ist ein:e Architekt:in, die/der nie „Ich weiß es nicht" sagt?
- Wie gut ist ein:e Architekt:in ohne Konzept von Wahrheit oder der Welt?
05. Wie kann man KI für Softwarearchitektur nutzen?
Würde ChatGPT die iSAQB-Advanced-Level-Prüfung bestehen?
- iSAQB = International Software Architecture Qualification Board; Advanced-Level-Prüfung: eine Architektur entwerfen.
- Wahrscheinlich nicht.
- Aber: Menschen schneiden oft auch nicht viel besser ab — ein LLM könnte also tatsächlich „gut genug" sein.
- LLMs können überzeugende Texte erzeugen…
- …auch wenn sie die Anforderungen nicht berücksichtigen, weil diese aus dem Context Window gefallen sind.
- Quelle: https://software-architektur.tv/2024/01/19/folge197.html
Ist das überhaupt Softwarearchitektur?
Was haben wir eigentlich gemacht? Dokumentation generiert. Dokumentation ist nicht Architektur!
Was ist Architektur?
- Architektur ist das, was implementiert wird.
- Nur ein Dokument zu schreiben hilft nicht.
- Man muss die Architektur an Menschen kommunizieren.
- Man sollte Input von Technikern einholen.
- Man muss Anforderungen / Business Cases verstehen.
- Man muss mit Stakeholdern kommunizieren.
- Kommunikation ist die Hauptherausforderung.
→ Ist Dokumentation vielleicht der einfache Teil?
Use Case: Informationssuche
- Nicht immer korrekt, beantwortet aber spezifische Fragen.
- Z. B. einen Text zu REST vs. gRPC generieren lassen.
- Statt Stack Overflow, Websuche, …
Use Case: Architekturdokumentation im Dialog
- Architekturdokumente im Dialog generieren — d. h. Menschen prüfen die Ergebnisse!
- Menschen reviewen, statt selbst zu erstellen.
- Offene Frage: Ist Reviewen einfacher oder schwerer als Erstellen?
Anti-Pattern: Architekturdokumentation
- LLM generiert umfangreiche Architekturdokumentation.
- Ergebnis: Noch eine Dokumentation.
- Ergebnis: Architekt:innen arbeiten nicht mit dieser Dokumentation — Architektur wird irgendwie anders gemacht.
- Ergebnis: Architekt:innen verlieren Interesse an KI.
- Wer die menschliche Seite vernachlässigt, dem hilft KI nicht.
Use Case: Architektur-Review
- Prof. Michael Stal (Siemens): LLM + RAG + Agenten, um ein System zu reviewen.
- Im Dialog, basierend auf Code, Anforderungen, Architecture Decision Records …
- Ergebnisse müssen doppelt geprüft werden!
- Quelle: https://software-architektur.tv/2026/04/02/episode308.html
Fragen wir ChatGPT
ChatGPT hat einen Text über LLMs und Softwarearchitektur generiert. Genannte Vorteile:
- Analyse und Design beschleunigen
- Besserer Zugang zu Best Practices
- Kommunikation und Moderation (z. B. Workshops vorbereiten)
Kommentar des Sprechers: Man könnte auch andere Aspekte verbessern, statt ein LLM zu nutzen.
Und ChatGPT selbst:
„Without architectural skills, LLMs will only accelerate your missteps."
Quelle: https://chatgpt.com/share/68238ff5-4bac-800f-aea7-5d6aaee3b8bb
Zwischenfazit
- KI ist ein weiteres Werkzeug.
- Keine vollständige Automatisierung.
06. Prognosen
Produktivität
- Wissenschaft aktuell: < 1,5x
- Anekdotische Evidenz: etwas höher
- Seien wir optimistisch und nehmen an, LLMs bringen irgendwann 10x oder 100x.
- Solche Innovationen gab es schon: Programmiersprachen, Betriebssysteme, Cloud, …
- Quellen: https://software-architektur.tv/2026/05/27/episode313.html, https://software-architektur.tv/2026/05/29/episode314.html
Kommunikation
- Das fundamentale Problem bleibt: Kommunikation — wie praktisch seit Anfang an (1950er).
Arbeit
- Trotz Produktivitätssteigerungen arbeiten immer mehr Menschen an Software. Warum?
- Rebound-Effekt: Ein sparsames Auto macht Fahren billiger → Menschen fahren mehr → der Spritverbrauch steigt. Mehr Effizienz → mehr Nachfrage.
- Beispiel Smartphone: Uhr, Stoppuhr, Kalender wurden ersetzt — dafür kamen Gesundheit, Fitness, GPS, Karten, … hinzu.
- Was, wenn wir einfach mehr und komplexere Software bauen? So wie seit den 1950ern.
07. Ethik
- LLMs verbrauchen absurde Mengen an Energie.
- LLM-Trainer:innen haben schlechte Arbeitsbedingungen.
- LLMs erfordern hohe Investitionen — d. h. sie fördern Monopole.
- Diese Monopole sind bereits eine Bedrohung für unsere Gesellschaft.
- Verlieren Menschen durch LLMs Fähigkeiten?
- Quelle: https://software-architektur.tv/2025/02/21/folge251.html
08. Was nun?
Werde Expert:in für Domäne und Unternehmen!
- Was ist spezifisch an deinem Unternehmen?
- Mit wem solltest du für eine bestimmte Entwicklungsaufgabe sprechen?
- Wie solltest du mit diesen Menschen sprechen?
Verbessere die Zusammenarbeit!
Collaborative Modelling (z. B. mit Post-its):
- Leicht verständlich
- Weniger Hürden
- Paralleles Arbeiten
- Einfacher für Introvertierte, sich zu beteiligen
Event Storming: Domäne gemeinsam mit Technikern und Domänenexpert:innen erkunden.
Soziotechnische Architektur-Reviews
- Architektur-Reviews fokussieren oft auf die Software.
- Software ist das Produkt eines sozialen Systems, d. h. eines Teams.
- Fokus auf das Team!
- Ergebnis: funktionierende Teams statt eines Foliensatzes.
- Quellen: https://software-architektur.tv/2026/02/06/folge301.html, https://swaglab.rocks/star-review/
09. Fazit
- LLMs können für Softwarearchitektur genutzt werden.
- LLMs können Text generieren, z. B. Dokumentation, ADRs, …
- …im Dialog, mit ständiger Prüfung und Steuerung.
- Softwarearchitektur und -entwicklung sind ein People Business.
- LLMs: nur ein weiteres Werkzeug.
- Wird es wirklich grundlegend verändern, was wir tun?
- Weiterführend: https://software-architektur.tv/2025/06/06/folge266.html