c't 3003
Ein Experiment von c't 3003

Wahr oder falsch?

Wie schnell und wie korrekt urteilen LLMs? Einfach einen Satz eintippen.

↵ fragt Jev
Wer soll urteilen?
Noch niemand gefragt
?
 

Unter 35 % gilt ein Satz als falsch, ab 65 % als wahr, dazwischen heißt es „Weiß nicht“. Jev liefert die Wahrscheinlichkeit direkt aus dem Modell. Die LLMs werden gebeten, selbst eine Zahl von 0 bis 100 zu nennen. Zeit = Anfrage vom Server zum Anbieter und zurück. Kosten in US-Cent: bei den LLMs der von OpenRouter abgerechnete Betrag, bei Jev berechnet aus Eingabe-Tokens × Listenpreis (0,042 $ pro Million Tokens). Nichts wird zwischengespeichert.

Eine Demo von c't 3003 · heise.de/thema/ct-3003