Könnte ChatGPT Arbeitsplätze im Finanzwesen wegnehmen? Tests sagen „keine Sorge“
Es gibt Befürchtungen, dass große KI-Sprachmodelle wie ChatGPT bestimmte Arbeitsplätze ersetzen könnten, aber wie sieht es im Finanzwesen aus? Die Tests scheinen beruhigend zu sein.
Große Sprachmodelle (LLMs) wie ChatGPT können bei Multiple-Choice-Antworten in Prüfungen für Finanzlizenzen gute Leistungen erbringen, aber sie versagen bei nuancierteren Fragen und Projekten.
Dies ist das Ergebnis einer von der Washington State University durchgeführten Studie. Sie analysierte über 10.000 Antworten auf Prüfungsfragen von KI-LLMs: ChatGPT, Llama und BARD.
Die Forscher baten die Modelle, Antworten auszuwählen und ihre Entscheidungen zu erläutern. Die Textantworten wurden mit denen von menschlichen Fachleuten verglichen.
Wie haben die KI-Modelle abgeschnitten?
Zwei verschiedene Versionen von ChatGPT schnitten am besten ab, aber wenn es um komplexere, fortgeschrittene Themen ging, zeigten sie ein hohes Maß an Ungenauigkeit.
Dies zeigt, dass Fakten überprüft werden sollten, wenn es darum geht, fortgeschrittene Informationen von LLMs zu suchen.
"Es ist noch viel zu früh, um sich Sorgen darüber zu machen, dass ChatGPT die Finanzberufe komplett übernehmen könnte", sagte Studienautor DJ Fairhurst vom Carson College of Business der WSU. "Bei allgemeinen Konzepten, für die es schon seit langem gute Erklärungen im Internet gibt, kann ChatGPT diese Konzepte sehr gut zusammenfassen. Wenn es sich aber um ein spezifisches, eigenwilliges Problem handelt, wird es wirklich schwierig".
Fairhurst und Co-Autor Daniel Greene von der Clemson University veröffentlichten ihre Untersuchung im Financial Analysts Journal. Ihre Fragen basierten auf realen Aufgaben, die Finanzfachleute realistischerweise durchführen könnten. Es wurden Fragen aus der Securities Industry Essentials-Prüfung sowie aus den Zulassungsprüfungen der Serien 6, 7, 65 und 66 verwendet.
"Das Bestehen von Zertifizierungsprüfungen ist nicht genug. Wir müssen wirklich tiefer graben, um herauszufinden, was diese Modelle wirklich leisten können", so Fairhurst.
Welches KI-Modell schnitt am besten ab?
ChatGPT Version 4.0 (die kostenpflichtige Version) schien bei den Aufgaben am besten abzuschneiden und gab Antworten, die denen von Finanzexperten am nächsten kamen. Im Vergleich zu anderen Modellen war die Genauigkeit um 18 bis 28 Prozentpunkte höher. Als die Forscher die frühere kostenlose Version von Chat GPT (Version 3.5) mit korrekten Antworten fütterten, schnitt sie ähnlich ab wie ChatGPT 4.0.
Letztendlich fielen alle Modelle bei bestimmten Fragen im Vergleich zu menschlichen Finanzexperten zurück. Sie gaben zunehmend ungenaue Antworten für bestimmte Situationen wie die Beurteilung des Versicherungsschutzes und des Steuerstatus der Kunden.
Gut schnitten sie ab, wenn es darum ging, finanzielle Trends auf dem Markt und Wertpapiertransaktionen zu überprüfen. Obwohl auch Menschen Fehler haben können, deutet dies darauf hin, dass die Modelle nicht mit der Arbeit von Finanzexperten konkurrieren können.
Zeitblinde KI?
Diese Modelle können aufgrund der Trainingsdaten, die sie erhalten, an ihre Grenzen stoßen, da ChatGPT auf Daten bis September 2021 trainiert wird. Die Koautoren prüfen nun , was das Modell in einem Projekt zur Bewertung potenzieller Fusionsgeschäfte leisten kann, da es die Geschäfte nach September 2021 nicht kennen kann.
Wie viele andere Fachleute auch, könnte ChatGPT ein nützliches Instrument zur Unterstützung bei einigen Aufgaben sein, sogar im Finanzbereich, wie z. B. bei Revisionen oder Recherchen, solange die Fakten weiterverfolgt und doppelt überprüft werden.
Abschwung für Junior-Analystenstellen?
LLMs scheinen kein Ersatz für Finanzfachleute zu sein. Wenn es in absehbarer Zeit zu einer drastischen Veränderung von Arbeitsplätzen in diesem Bereich kommen sollte, könnte es vielleicht die Einstiegsjobs für Analysten bei Banken in gewisser Weise verändern , schlagen die Autoren vor.
"Die Praxis, eine Reihe von Leuten als Junior-Analysten einzustellen, sie gegeneinander antreten zu lassen und die Gewinner zu behalten - das wird sehr viel kostspieliger", sagte Fairhurst.
"Es kann also sein, dass es zu einem Rückgang dieser Art von Arbeitsplätzen kommt, aber nicht, weil ChatGPT besser ist als die Analysten, sondern weil wir Junior-Analysten gebeten haben, Aufgaben zu übernehmen, die weniger anspruchsvoll sind."
Anstelle von Stellenstreichungenkönnte es sich auch einfach um andere Stellenbeschreibungen für Berufsanfänger handeln, die weniger niedere, sich wiederholende Arbeiten und mehr aufschlussreiche Analysen beinhalten.
Quellenhinweis
How Much Does ChatGPT Know about Finance? Financial Analysts Journal. 2024. DOI: 10.1080/0015198X.2024.2411941