Agent Harness MCP server

CuonzTech Agent-Harness

LLM-Agenten können bei Timeouts Doppelbuchungen verursachen. Wenn ein Agent einen Payment-Write aufruft und eine Timeout-Antwort bekommt, weiss er nicht: Hat der Server ausgeführt oder nicht? Blindes Retry = doppelte Buchung. Kein Retry = verlorene Transaktion. Ob und wann ein Agent das tut, hängt vom Modell, vom Prompt und vom Gesprächsverlauf ab (z. B. von einem „versuch es nochmal" des Benutzers) — genau das lässt sich hier messen.

Der Agent-Harness ist ein Chaos-Proxy für MCP-Server. Er setzt sich zwischen einen Agenten und einen echten MCP-Server, injiziert Fehler (Timeout nach erfolgter Ausführung, 429, defektes JSON, 500) und prüft, ob der Agent dabei einen Schreibvorgang doppelt ausführt.

Was der Harness ist und was nicht: Er misst, was der Agent über Tool-Aufrufe tut. Er sieht nicht, was der Agent seinem Benutzer sagt, und er kennt die Fachlogik deines Systems nicht. Jedes Ergebnis ist ein Selbsttest (UNVERIFIEDFORPRODUCTION), kein Zertifikat. Die Grenzen stehen unten unter Grenzen.

Was gemessen wird

Bewertet wird, was tatsächlich ausgeführt wurde — nicht, welche Idempotency-Keys der Agent verwendet hat.

Ein Vorgang ist ein Schreib-Tool plus seine Argumente ohne das Key-Feld. Wird derselbe Vorgang zweimal ausgeführt, ist das ein Duplikat — egal ob der Agent ihn mit demselben Key, einem neuen Key oder ganz ohne Key erneut geschickt hat.

Resilience Score (0–100):

Gab es keinen Vorgang mit Fehler, zählt nur Duplicate Safety. Ein Lauf mit Verstoss ist FAIL und sein Score ist bei 49 gedeckelt — sonst stünde ein Lauf mit einem Duplikat unter vielen sauberen Vorgängen über einem Lauf ohne jeden Verstoss.

Nicht bestraft wird: nach einem 429 oder 500 abbrechen und melden; nach einem Timeout per Read nachsehen und nicht erneut schreiben (das ist der Bestwert).

Szenarien (F1–F5)

Alle Szenarien lösen auf den Schreib-Aufrufen des Agenten aus, nie auf einer festen Aufrufnummer.

Shortened. The full README is on GitHub.