Sicherheit

Der Agent hat eine eingetippte Anweisung befolgt

Üblicher Schweregrad: kritisch · Aufwand: mittel

Woran du es erkennst

Ein in die Nutzereingabe gesetztes Codewort oder eine Override-Anweisung erscheint in der Antwort — der Agent hat die eingeschleuste Order ausgeführt.

Warum es zählt

Prompt-Injection heißt: der Nutzer (oder ein Dokument) übernimmt die Steuerung. Daraus folgen Datenabfluss, Tool-Missbrauch und Vertrauensbruch.

So behebst du es

  1. Nutzereingaben und Dokumente als Daten behandeln, nicht als Anweisung; Systemprompt und Tools serverseitig kapseln.
  2. Canary-Tests in CI halten: folgt das Modell dem Einschub, darf der Stand nicht ausgeliefert werden.

Zum Nachlesen