Fitnesstest Finanzen: Einzelleistungen von KI-Modellen – Aber Vorsicht: Der KI-Einsatz ist eine Mannschaftssportart
Können generative KI-Modelle bzw. „Large Language Models“ (LLM) Vermögensverwalter und andere Finanzexperten bereits ersetzen? Wie schneiden die jüngsten LLM im Vergleich mit Finanzprofis ab? Die Antworten auf diese Fragen bestehen meist in Prüfungen, denen man diese Modelle unterzieht. Das können mit Hilfe von Experten entwickelte KI-„Benchmarks“ sein oder auch einfach Examina, deren Bestehen für Finanzqualifikations-Zertifikate erforderlich ist. Wir präsentieren im Folgenden einen kurzen Überblick über neuere Studien zur gemessenen Finanzmarktkompetenz von KI-Modellen.
KI im Licht von fachspezifischen Benchmarks
Um die Leistungsfähigkeit von KI-Systemen in Expertendomänen wie Recht, Medizin oder auch Finanzen zu ermitteln, wurden und werden laufend Benchmarks entwickelt.
Eine sehr dynamische Unterkategorie bilden Agent-Benchmarks, die prüfen, wie gut KI-Systeme bei komplexeren Aufgaben in realistischer Umgebung abschneiden, die über die reine Beantwortung von Fragen hinausgehen und „Handlungen“ bzw. Interaktionen mit der Umwelt erfordern. Typischerweise gehört zu den Aufgaben, die KI-Modelle für diese Bewertungswerkzeuge erfüllen müssen: das Navigieren innerhalb einer Software, der Umgang mit verschiedenen externen Tools (z.B. für Berechnungen), die Verwaltung von Dateien, die Interaktion mit Websites und Datenbanken oder die Steuerung und Koordination ganzer Arbeitsabläufe.
Vergleiche zeigen, dass Benchmarks aufgrund ihrer Fehlerintoleranz in der Regel strenger bewerten als menschliche Experten, die auch mal zufrieden sind, wenn der Lösungsweg korrekt ist, obwohl am Schluss ein Zahlendreher das Ergebnis verfälscht. Diesbezügliche Bewertungs-Differenzen sollen in Bereichen zwischen 5 bis 30 Prozentpunkte liegen.
Jedoch sind auch automatisierte Benchmarks bislang nicht frei von Schwächen: In Fragen der Logik bewerten sie oftmals weniger streng als menschliche Experten, weil ihnen häufiger logische Inkonsistenzen entgehen.
Vier Benchmarks für Finanzkompetenz von KI-Modellen
Im – zum Schmökern übrigens wärmsten zu empfehlenden – „Artificial Intelligence Index Report von 2026“ des Stanford Institute for Human-Centered Artificial Intelligence (HAI) werden die Bewertungsergebnisse von vier Finanz-Benchmarks der Firma Vals AI präsentiert. Geprüft werden Steuerrecht (Benchmark Tax Eval v2), Extraktion von Informationen aus Steuerdokumenten (MortgageTax), Umgang mit komplexen Dokumenten im Kreditgeschäft (CorpFin) und Finanzanalyse (Finance Agent).
Fragen zu Steuern als Basis
TaxEval v2 stellt 1500 Fragen zu komplexeren Steuerthemen, wobei insbesondere vergleichende Analyse, numerisches Schlussfolgern, semantische Analyse, Problemlösung, kritisches Denken, Kenntnis aktueller Entwicklungen sowie die Anwendung von Compliance-Regeln geprüft werden.
Die Ergebnisse – d.h. der Anteil der richtigen Antworten – bei TaxEval v2 zeigen, dass nur geringe Unterschiede zwischen den Modellen bestehen. Alle 15 Spitzenmodelle liegen (gemäß update vom 17.6.2026) innerhalb einer Spanne von knapp 3 Prozentpunkten, von 77,7 % (Claude Sonnet 4.6) bis 74,9 % (Claude 4.5 Thinking).
Link zu den aktualisierten Benchmark-Ergebnissen: TaxEval v2
Steuerbescheide als Basis
MortgageTax bewertet, wie gut KI-Modelle strukturierte Informationen aus echten Steuerbescheiden, text- und bildbasiert extrahieren können. Basis ist ein Mortgage Tax Certificate (US-Steuerrecht). Semantisch sollen Felder wie Jahr, Flurstücksnummer und Landkreis extrahiert und der fällige Betrag berechnet werden. Der Datensatz umfasst 1.258 Dokumente.
Die 15 besten Modelle bewegten sich auch hier innerhalb eines engen Leistungsspektrums. Claude Opus 4.7. führte hier (gemäß update 10. 6. 2026) mit 70,27 Prozent, während Gemini 3.5 Flash mit 68,1 Prozent in dieser 15er-Gruppe ganz hinten ist. Dass die 70-Prozent-Marke nur von einem Modell knapp überschritten wird, deutet darauf hin, dass die KI-Modelle durchaus Probleme haben, aus Dokumentenbildern Informationen zu extrahieren und zu berechnen.
Link zu den laufend aktualisierten Benchmark-Ergebnissen: MortgageTax
Komplexe Finanzdokumente / Kreditverträge als Basis
CorpFin überprüft, ob KI-Modelle Informationen aus größeren und komplexen Finanzdokumenten erfassen und extrahieren können. Zugrunde liegen Kreditverträge, die 200 oder mehr Seiten haben können. Geprüft werden: Verständnis und Bewertung der Vertragsbedingungen, Berechnungen und numerische Schlussfolgerungen, Zusammenfassungen, Abgleiche verschiedener Textabschnitte, Kenntnis des Branchenjargons. Bei CorpFin v2 liegen die Ergebnisse (update 16.6.2026) in der Gruppe der ersten 15 Modelle etwas weiter auseinander. Das liegt vor allem daran, dass Claude Fable 5 das Feld mit 71,83 Prozent deutlich vor Grok 4.3 mit 68,5 Prozent anführt, während Grok 5 mit 66 Prozent den 15. Rang einnimmt. Wie bei MortgageTax konnte bislang nur ein Modell die 70-Prozent-Marke überschreiten.
Link zu den laufend aktualisierten Benchmark-Ergebnissen: CorpFin
Prüfungsfragen für Finanzanalysten als Basis
Finance Agent bewertet die Fähigkeit von KI-Modellen, Aufgaben zu bewältigen, die typisch für Finanzanalysten auf Einstiegsniveau sind. Zu beantworten sind Fragen, mit denen Kompetenzen wie Informationsbeschaffung, Marktforschung und Finanzprognosen geprüft werden.
Bei Finance Agent v 2.0 fiel die Leistungsspanne bisher sehr groß aus, auch größer als bei der Vorgänger-Version v1.1 vom Frühjahr 2026, die den Standford-Berechnungen (und unserem Schaubild) zugrunde liegt. Gemini 3.5 Flasch führt (gemäß update vom 17.6.2026) das Feld mit 57,9 Prozent an (in Version v 1.1 führte Claude Sonnet 4.6 mit 63,33%), den Schlussrang in der ersten 15er Gruppe nimmt mit 41,50 Prozent MiMo V 2.5 ein. Der niedrige Spitzenwert und die große Streuung widerspiegeln die domänenspezifischen Herausforderungen, die sich aus der Komplexität agentenbasierter Aufgaben für KI ergeben.
Link zu den laufend aktualisierten Benchmark-Ergebnissen: Finance Agent
Besteht KI das CFA-Examen?
Gerne werden KI-Modellen einer Prüfung für Finanzmarkt-Zusatzqualifikationen unterzogen, wobei sich der Chartered Financial Analyst (CFA) aufgrund seiner hohen Reputation einer besonderen Beliebtheit zu erfreuen scheint.
Das CFA-Programm ist in drei Kompetenz-Stufen gegliedert: Level I vermittelt Grundlagenwissen, das mit einem Multiple-Choice-Test abgefragt wird (MCQs). Level II prüft fallbasierte Anwendungen und Analysen ebenfalls mit MCQ. Level III testet die Fähigkeiten zu komplexer Synthese wie auch zur fachgerechten Konstruktion eines Portfolios, wobei MCQ und freie Antworten kombiniert sind.
Die Ergebnisse der ersten Modelle generativer KI ab 2023 waren zunächst wenig berauschend: Die Modelle scheiterten meist bereits an Level I. Aber die Leistungen haben sich zwischenzeitlich verbessert.
Die jüngste Studie, die wir für den CFA-Test gefunden haben, ist vom Dezember 2025 („Reasoning Models Ace the CFA Exams“; Patel J. et al. 2026) Neben einigen Modellen der „älteren“ Generation – u.a. Chat GPT (2024) – wurden KI-Spitzen-Modelle mit Schlussfolgerungsfähigkeiten (Reasoning Models) der bis dahin neuesten Generation getestet: GPT-5, Gemini 3.0 Pro und das Vorgängermodell Gemini 2.5 Pro, DeepSeek-V3.1, Claude Opus 4.1 und Grok 4.
Die Studie zeigte, dass die meisten der neueren Spitzen-Modelle auf allen drei Niveaus „bestanden“ haben (siehe Tabelle CFA-Testergebnisse), bei Bestehensschwellen von 70% (Level 1), 60% (Level2) und 63% (Level 3).
Die großen KI-Modelle schnitten auf Level I sehr gut ab, mit Ergebnissen zwischen 90 und 98 Prozent (Sieger: Gemini 3.0 Pro). Auf Level 2 streuten die Werte zwischen 85 und 95 Prozent (GPT-5). Auf Level 3 lagen für Multiple Choice die Trefferquoten zwischen 74 und 82 Prozent (Gemini 2.5 Pro). Unter den offenen Antworten waren zwischen 71 und 87 Prozent korrekt (Gemini 3.0), wobei der tiefere 70er-Bereich am häufigsten war.
Anzumerken ist, dass es sich hier um eine Zero-Shot-Prompting-Strategie handelt, bei der eine Frage mit Kontext eingegeben wird. Wandte man eine Chain-of-Thought-Strategie an, bei der die Antworten Schritt für Schritt herzuleiten sind, schnitten manche Modelle meist etwas besser ab, andere performten unverändert oder manche sogar ein wenig schlechter.
Diese Ergebnisse legen nahe, dass die aktuellen Modelle die kodifizierte Wissensbasis der CFA-Prüfung Level I und II mittlerweile weitgehend beherrschen. Die Fragen mit freier Antwort (Level III) deuten zwar auf eine wachsende Fähigkeit zur komplexen Synthese hin, aber die Lücken zur „Perfektion“ sind doch noch deutlich.
KI geeignet für Finanzplanung und -beratung in der Schweiz?
Eine neuere Studie (die als vorläufige Version vorliegt), Stand Ende 2025, untersuchte die Leistungsfähigkeit von KI in der Finanzplanung im regulatorischen Kontext der Schweiz (“Can artificial intelligence generate suitable financial advice in the Swiss context? An evaluation of large language models on financial planning exam questions”; Hofmann, R; Hartmann-Paulsen, L; Farner, JC.)
Den 14 getesteten KI-Modelle wurden 58 Fragen unterschiedlicher Komplexität zur Vermögensverwaltung mit Schwerpunkt Finanzplanung gestellt, mit den Unterthemen: Vorsorge und Ruhestandsplanung (24 Fragen); Wealth-Management-Techniken (13); Beratungsprozess und Ethik (10); Nachlass und Steuern (8); Kapitalanlagen (3).
Die KI-Modelle erzielten bei der Gesamtleistung Ergebnisse zwischen 76,1 (GPT 5.2) und 51,6 Prozent (Deep Seek V.3.2) – was schon eine deutliche Streuung ist. Die komplexeren Modelle schnitten dabei besser ab. Fünf KI-Modelle lagen unter der 60-Prozent-Linie (Bestehenskriterium), neun KI-Modell darüber.
Diese Quoten sind Ergebnis von LLM-Bewertungen. Menschliche Experten bewerteten die Leistungen im Mittel um 15,4 Prozentpunkte besser.
Differenziert nach Teilbereichen waren die Leistungen im Themenfeld „Kapitalanlagen“ mit 75,4 Prozent am besten (allerdings nur 3 Fragen), gefolgt von „Nachlass und Steuern“ (71,7%), „Vorsorge“ (69,7%), „Vermögensverwaltung“ (61,90%); als Schlusslicht deutlich abgefallen bei der Leistung war das Themenfeld „Beratungsprozess und Ethik“ (44,80%). Top-Modelle waren in allen Bereichen überdurchschnittlich, schwächere Modelle durchgängig unterdurchschnittlich.
Die Studienautoren werten die unterschiedlichen Leistungen in den Teilbereichen wie auch weitere Befunde ihrer Studie als starken Beleg dafür, dass die evaluierten KI-Modelle bei der strukturierten Finanzanalyse und auch bei quantitativen Aufgaben besser abschneiden als bei qualitativen Bewertungen, die zudem ethische Abwägungen und Integration verschiedener Aspekte der Beratung erfordern.
Im Beratungssetting erwiesen sich die LLMs zudem als äußerst passiv, denn sie stellten keine Rückfragen und forderten keine weiteren Kunden-Informationen an. Außerdem konnte die KI mit der für Kunden typischen Ambiguität nicht adäquat umgehen. Die Studienautoren merken in diesem Zusammenhang an, dass „Beratung“ auch in Kunden-Begleitung und -Betreuung bestehe, zumal Kunden einmalige Ratschläge häufig nicht umsetzten.
In Anbetracht dessen scheinen auch die neuesten KI-Modelle noch nicht ausreichend fit zu sein für Beratungsleistungen.
Ein weiterer Punkt, den die Autoren kurz ansprechend, ist das Problem der sogenannten Halluzination. Das sind falsche Antworten, die KI ohne die geringste Spur von Zweifel vorträgt. Laien können eine Halluzination nicht unmittelbar erkennen. Wenn man bedenkt, dass selbst das beste Modell rund ein Viertel der Aufgaben nicht korrekt beantworten konnte und ein größerer Teil der Falschantworten die heimtückischen Halluzinationen sein könnten, ist die Eignung in der Beratung ebenfalls fraglich.
Schluss
Die aktuelle Studienlage – die aufgrund der hochdynamischen KI-Entwicklung stets hinterherhinkt – legt nahe, dass sich die Leistungsfähigkeit der Spitzenmodelle zur Lösung finanzspezifischer Aufgaben seit 2023 deutlich verbessert hat. Dabei haben wir aufgrund unserer Studienbasis nur die Accuracy, die Richtigkeit der Antworten, berücksichtigen können, nicht die vielfach problematischeren Halluzinationen (auf die wir in einem separaten Artikel eingehen).
Es wurde auch deutlich, dass es Leistungsdifferenzen zwischen KI-Modellen gibt, dass aber die Leistungsdifferenzen in Abhängigkeit vom Aufgaben-Typus und vom Bewertungsverfahren (Benchmark, menschliche Experten) häufig noch größer sind.
Noch wichtiger für Leistungsunterschiede dürfte aber etwas anderes zu sein: Bekanntlich gewinnt kein Messi ein Spiel allein. Ebenso ist der Einsatz von KI ein Mannschaftssport. Die Performance von KI ist stark abhängig von dem Team aus artifiziellen Werkzeugen und menschlichen Experten, mit dem die KI zusammenspielt.
Es scheint mittlerweile auch so zu sein, dass die Leistungsunterschiede zwischen öffentlich verfügbaren Spitzenmodellen und den von größeren Finanzhäusern eingesetzten spezialisierten KI-Systemen (über die keine öffentlich verfügbare Leistungsdaten vorliegen) selbst im Finanz-Spezialgebiet nicht mehr allzu groß sind. Der wichtigere Wettbewerbsvorteil dieser Modelle liegt wohl eher in der Einbettung in ein leistungsfähiges Gesamtsystem aus exklusiven Datenbanken, spezifischen Tools und einschlägig bewanderten Experten, die aus diesem System höhere Leistung herauskitzeln können.
Demzufolge wären Unterschiede der „Intelligenz-Quotienten“ der fortgeschrittensten KI-Modelle derzeit mehr auf die „Mannschaft“, in der die KI ein zentraler Spieler ist, zurückzuführen, als auf Leistungsdifferenzen zwischen einzelnen LLMs, die in ein und derselben Mannschaft ein Probespiel machen.
