TL;DR
- Laut Visa bestanden 57,2 Prozent der ausgewerteten Testläufe.
- Untersucht wurden 22 Modelle aus zwölf Laboren anhand von 15 Einkaufsaufgaben.
- Auch eine passende Entscheidung gegen einen Kauf konnte als Erfolg gelten.
- Checkout, Zahlung und Bestellabschluss sind erst als Erweiterungen angekündigt.
KI-Assistenten bestanden 57,2 Prozent der Testläufe
In 42,8 Prozent der ausgewerteten Testläufe erfüllten die KI-Modelle Visas Erfolgskriterien nicht. Vereinfacht entspricht das rund 43 von 100 Versuchen. Das Ergebnis veröffentlichte das Zahlungsunternehmen in seiner Mitteilung vom 5. November 2026. Die Quote bezieht sich auf Testläufe, nicht auf den Anteil gescheiterter Modelle oder betroffener Verbraucher.
Visa untersuchte 22 Modelle aus zwölf Laboren mit 15 Einkaufsaufgaben. Für jede Kombination aus Modell und Szenario waren drei Versuche vorgesehen. Gegenstand waren unter anderem Fernseher, Laptops und Körperpflegegeräte. Die Ergebnisse stammen aus Visas eigener Auswertung.
Vor der Kaufentscheidung mussten die Assistenten alle Anforderungen klären
Als erfolgreich wertete Visa einen Lauf, wenn das System alle für die Aufgabe definierten Anforderungen ermittelte und anschließend eine passende Kauf- oder Nichtkaufentscheidung traf. Ein begründeter Verzicht auf den Kauf konnte damit ebenfalls zum erfolgreichen Ergebnis gehören.
Das veröffentlichte Fernsehszenario verdeutlicht die Aufgabe: Der Assistent sollte unter anderem Budget, Formatkompatibilität und gewünschte Spielfunktionen klären. Einige Anforderungen waren zunächst unausgesprochen. Sie im Dialog herauszufinden, gehörte ausdrücklich zur Prüfung, wie Visa im Aufgabenbeispiel und in der Erfolgsdefinition erläutert.
Eine Empfehlung allein erfüllte die Kriterien folglich noch nicht. Für die Bewertung zählte auch, ob das Modell zuvor vollständig erfasst hatte, was der simulierte Kunde benötigte. Die Fehlerquote kann deshalb auch Versuche umfassen, die bereits an dieser Bedarfsermittlung scheiterten.
Hotelbuchungen und Zahlungen wurden nicht getestet
Aus redaktioneller Sicht berührt der Befund eine Aufgabe der automatisierten Unterkunftsberatung: Vor einer Auswahl steht die Klärung der Anforderungen. Eine entsprechende Fehlerquote für Hotelbuchungen liefert der Benchmark jedoch nicht.
Auch fehlgeschlagene Zahlungen oder Bestellabschlüsse beschreibt die Zahl von 42,8 Prozent nicht. Diese Schritte gehörten noch nicht zum veröffentlichten Aufgabenbereich. Visa kündigt an, den Benchmark künftig um Checkout, Zahlung und Bestellabschluss zu erweitern.