#39 Halluzinationen und Haftungsfallen bei Generativer KI [KI generiert]
In dieser tiefgehenden Episode der Klartext KI-Crew beleuchten wir die kritischen Herausforderungen und Risiken, die mit dem Einsatz von Generativer Künstlicher Intelligenz (GenAI) verbunden sind. Wir beschäftigen uns mit KI-Halluzinationen, also der Erfindung von Fakten und Quellenangaben durch die KI, und diskutieren, wie diese in der Praxis zu ernsten Problemen führen können, wie am Beispiel des Beratungsunternehmens Deloitte in Australien geschehen.
Die wichtigsten Themen dieser Folge:
Halluzinationen & Faktenprüfung: Was passiert, wenn KI „statistisch wahrscheinlich klingende“ Antworten generiert, die inhaltlich falsch sind? Wir sehen, dass blindes Vertrauen gefährlich ist und menschliche Überprüfung absolut unerlässlich bleibt.
Praktische Risiken: Neben fehlerhaften Informationen (Fake News, Deepfakes) betrachten wir die Gefahr von Prompt Spoofing (Umgehung von Schutzmechanismen) und das Problem des Bias (Voreingenommenheit in den Trainingsdaten).
Haftungsfragen & Blackbox-Problem: Wer trägt die Verantwortung, wenn durch KI-Fehler oder Manipulation Schäden entstehen? Die Verantwortung liegt immer bei den Entwicklern, Anbietern oder Nutzern, da eine KI keine eigene Rechtspersönlichkeit besitzt. Die mangelnde Nachvollziehbarkeit des Entscheidungsprozesses großer KI-Modelle (Black Box) erschwert die Fehlersuche.
Die Rolle der Regulierung: Wir diskutieren, wie der EU AI Act und die geplante KI-Haftungsrichtlinie die Anforderungen an Anbieter und Nutzer verschärfen und Transparenz sowie KI-Kompetenz im Unternehmen fordern. Verstöße können empfindliche Strafen nach sich ziehen.
Lösung & Fazit: Der Schlüssel zum sicheren Umgang mit GenAI ist die menschliche Überprüfung – das 4-Augen-Prinzip. Trotz aller Automatisierung bleibt der Mensch die entscheidende Instanz, die kritisches Denken und ethische Abwägung einbringt.
Fazit & Ausblick:
Generative KI ist ein mächtiges Hilfsmittel, aber kein Ersatz für menschliche Expertise. Unternehmen und Nutzer müssen klare interne Prozesse, Governance-Strukturen und Schulungen etablieren, um die Risiken zu beherrschen und die enormen Chancen der Technologie verantwortungsvoll zu nutzen.
🔗 Weiterführende Links zur Folge
https://www.deloitte.com/de/de/issues/innovation-ai/vertrauenswuerdige-generative-ki.html
https://www.horsesforsources.com/deloitte-dolittle_100725/
https://consulting.tuv.com/aktuelles/ki-im-fokus/eu-ai-act-haftungsrisiken-fuer-unternehmen
https://www.moneylife.in/article/fraud-alert-deloittes-us290000-blunder-and-the-rising-risks-of-ai-hallucinations/78620.html
https://www.nortonrosefulbright.com/de-de/wissen/publications/64f48ffc/generative-ai-ki-vertrage-rechtssicher-gestalten
https://easyrechtssicher.de/ki-generiert-haftung/
https://www.cmshs-bloggt.de/rechtsthemen/kuenstliche-intelligenz/pflicht-oder-kuer-ki-kompetenz-gemaess-ki-vo-als-zentraler-bestandteil-der-ki-compliance-im-unternehmen/
https://news.it-matchmaker.com/vertrauenskrise-bei-genai-warum-die-qualitaet-generativer-ki-sinkt/
Let's connect: https://www.linkedin.com/company/klartext-ki-der-podcast
--------
19:16
--------
19:16
#38 Studium oder Ausbildung: Karrierewege in der KI-Ära
In dieser Folge von Klartext KI begrüßen Matúš und Alwine einen gern gesehenen Wiederholungsgast: Jonas.
Jonas nimmt uns mit auf eine Reise durch Europa und zeigt die zwei Gesichter der KI: Einerseits eine katastrophal schlechte, KI-generierte Touristenführung an der Akropolis, die mehr für Lacher als für Wissen sorgt. Andererseits eine beeindruckende KI-Anwendung in der Medizin, die bei der Hautkrebs-Vorsorge hilft und Leben retten kann.
Ausgehend von einem provokanten Meme von Alwine entbrennt eine hitzige Debatte über den Mythos des Fachkräftemangels. Die zentrale Frage: Welchen Weg sollen wir der nächsten Generation empfehlen? Ein klassisches Studium, eine praxisnahe Ausbildung oder eine Kombination aus beidem? Jeder teilt seine persönlichen Erfahrungen und gibt Einblicke, wie sich der Arbeitsmarkt durch KI und wirtschaftliche Unsicherheiten verändert.
Alle Gesprächsteilnehmer sind sich einig: Die Zeiten, in denen ein Abschluss allein einen Job garantiert hat, sind vorbei. Praxiserfahrung, Anpassungsfähigkeit und die Fähigkeit, neue Technologien zu orchestrieren, sind die entscheidenden Kompetenzen für die Karriere von morgen.
Themen & Timeline:
00:00 Intro01:21 KI im echten Leben: Jonas' Reiseerfahrungen zwischen Top und Flop16:25 Ankündigung: Das nächste KI-Meetup in München20:40 Hauptthema: Studium oder Ausbildung – Was lohnt sich in der KI-Ära noch?33:02 Persönliche Werdegänge im Vergleich: Uni, Hochschule und Lehre42:25 Die Zukunft der Arbeit: Vom Programmierer zum Orchestrator57:58 Das Fazit: Unsere Empfehlungen für die nächste Generation
🔗 Weiterführende Links zur Folge
- Meetup-Gruppe "Prozesse und AI" in München: https://www.meetup.com/de-DE/munchen-bpm-process-automation-circle/
- Alwines Linkedin Post: https://www.linkedin.com/posts/alwineschultze_fachkraeuftemangel-vomstudiumindiearbeitslosigkeit-activity-7391046371430105089-zxzW
- Klartext KI auf LinkedIn: https://www.linkedin.com/company/klartext-ki-der-podcast
--------
1:01:19
--------
1:01:19
Trailer zu Klartext KI
Hi, wir sind Matúš und Alwine und wir treffen uns im Podcast mit Freunde und KI-Enthusiasten in lockerer Runde, um die aktuellsten Themen der KI-Welt zu besprechen. Statt trockener Fakten gibt es bei uns authentische Diskussionen, persönliche Einblicke und verständliche Erklärungen. Wir bringen komplexe Entwicklungen auf den Punkt... ehrlich, direkt und immer mit einer Prise Humor.
--------
1:00
--------
1:00
#37 Das alte Web ist tot: ChatGPTs neue Internet-Ära
In dieser Folge von Klartext KI begrüßen Matúš und Alwine erneut den KI-Experten Jan Schmidt-Prüfer, um den unangefochtenen Marktführer OpenAI und die Zukunft von ChatGPT unter die Lupe zu nehmen.
Zu Beginn der Folge diskutieren die drei die Akzeptanz und Performance von KI-generierten Podcast-Folgen und kommen zu einem klaren Ergebnis: Zuhörer bevorzugen menschliche Interaktion.
Im Hauptteil liefert Jan beeindruckende, aber auch alarmierende Einblicke in die Welt von OpenAI.
Timeline:
00:00 Intro & Vorgeplänkel01:22 Wie kommen die KI-generierten Podcast-Folgen an?06:29 Die erdrückende Marktdominanz von ChatGPT in Zahlen16:40 OpenAIs Finanzen: 5 % zahlende Kunden und Milliardenverluste21:53 Neue Features: ChatGPT wird zum Einkaufsagenten30:31 Ausblick: Das Ende der klassischen Website?
🔗 Weiterführende Links zur Folge
- LinkedIn: https://www.linkedin.com/company/klartext-ki-der-podcast
--------
52:59
--------
52:59
#36 Agentic Engineering und Steering für produktionsreife Software
In dieser Folge voller Praxis-Einblicke begrüßen wir, Matúš und Alwine, einen wahren "Wiederholungstäter": Vladimir Daskalov (aka Vlad), Experte für KI-gestützte Softwareentwicklung.
Vlad nimmt uns mit auf eine Reise durch die moderne Welt des Programmierens mit KI. Er unterscheidet klar zwischen zwei Anwendungsfällen: KI als Werkzeug zur reinen Produktivitätssteigerung für Entwickler und KI als integraler Bestandteil eines Produkts mit Kundeninteraktion.
Im Zentrum der Diskussion steht das "Agentic Coding". Vlad erklärt den entscheidenden Unterschied zwischen unstrukturiertem "Vibe Coding" für schnelle Prototypen und dem disziplinierten "Agentic Engineering" für produktionsreife Software. Dabei stellt sich die brisante Frage: Ersetzen KI-Agenten bald die Junior-Entwickler? Die Runde ist sich einig, dass sich das Berufsbild und die Herangehensweise der nächsten Entwickler-Generation fundamental ändern werden.
Als Highlight stellt Vlad sein neues Open-Source-Projekt "Pantheon-MCP" vor, ein System, das den Aufwand für das Projekt-Setup drastisch reduziert, indem es die Anweisungen (das "Steering") für KI-Agenten zentral und dynamisch verwaltet.
Timeline:
00:00 Intro & der Programmier-Alltag
03:15 Worum geht es heute? Zwei KI-Felder
04:55 Vibe Coding vs. Agentic Engineering: Der Weg zum produktiven Code
09:22 Die große Frage: Was wird aus den Junior-Entwicklern?
12:50 Low-Code vs. Agentic Coding: Ein Duell der Zukunft?
22:07 Deep Dive: So funktioniert Pantheon-MCP
--------------------------------------------------------------------------------
🔗 Weiterführende Links zur Folge
Vlads Projekte:
- Pantheon-MCP: https://pantheon-mcp.com
- Tiny Task AI: https://tinytoolstack.com/
- Vibes Monitor: https://vibesmonitor.com/
LinkedIn: https://www.linkedin.com/company/klartext-ki-der-podcast
Weil jeder KI verstehen sollte...... erkundet Matus, ein BPM Philanthrop & Coach, zusammen mit...
... Alwine, die pragmatisch KI-Lösungen für Kunden baut, die Welt der Künstlichen Intelligenz.
Und weil Abwechslung sein muss, sind auch Gäste mit im Podcast. Sonst wäre es ja langweilig, oder? Hör gern bei uns rein, hier wird nichts geskriptet oder sich stunden auf den Gast vorbereitet, damit alles möglichst authentisch ist. Also hör rein in den etwas anderen KI-Podcast.
Vernetz dich gern mit uns:https://www.linkedin.com/in/alwineschultze/https://www.linkedin.com/in/matusmala/
PS:Wir hören gern jedes Feedback zu unserem Podcast, das bietet uns die Chance uns für euch zu verbessern.
Deutschland