Geschwindigkeit

Erstes Zeichen der Antwort kommt zu spät

Üblicher Schweregrad: mittel · Aufwand: mittel

Woran du es erkennst

Bis das erste sichtbare Zeichen erscheint, vergehen mehr als vier Sekunden.

Warum es zählt

Ohne erstes Zeichen wirkt der Chat tot. Viele Nutzer senden doppelt oder verlassen die Fläche, bevor überhaupt Text da ist.

So behebst du es

  1. Streaming einschalten, damit das erste Token sofort sichtbar wird, und kalte Starts (Kaltstart, Queue) messen.
  2. Lange Vorarbeit (Retrieval, mehrere Tools) parallelisieren oder erst nach dem ersten Satz nachladen.

Zum Nachlesen