論文の概要: RECEIPT: Measuring and Repairing the Return Assumption of LLM Agents in Web Service Operations

• arxiv url: http://arxiv.org/abs/2611.01930v1
• Date: Sun, 01 Nov 2026 14:06:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-12 14:04:48.29514
• Title: RECEIPT: Measuring and Repairing the Return Assumption of LLM Agents in Web Service Operations
• Title（参考訳）: RECEIPT: Web サービス運用における LLM エージェントのリターン推定の測定と修復
• Abstract要約: LLMエージェントはコマンドラインからWebインフラストラクチャを操作する。 しかし、多くのコマンドは、行動する前に質問する。 本論文は、リターン仮定を計測し、修復した最初の論文である。
• 参考スコア（独自算出の注目度）: 6.7686920507976325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents operate Web infrastructure from the command line and rely on a return assumption, namely that each tool call returns within a bounded time and with its requested action finished. Many commands, however, ask a question before they act, and the agent's harness either closes the program's input or keeps it open as a terminal at which nobody types. With closed input, the program can return status 0 without the requested action. With open input, it waits until a time limit, and the agent pays in time and tokens. To the best of our knowledge, this paper is the first to measure and repair the return assumption. We collect 91,469 production tool calls and 89,047 public agent trajectories, test how 8 widely used harnesses launch commands, and build Litmus, a catalog of 158 checked command-line invocations, and Tripwire, a benchmark of 25 task pairs that differ only in whether a question guards the requested action. We then propose RECEIPT, which keeps the input open, reads what each process waits for from system calls, and returns this state to an unmodified agent through a model-checked protocol. On Litmus, closed input causes 11.5% of tested invocations to return status 0 without performing the requested action, and 7 of 8 harnesses close input when no terminal is attached. An unanswered question at a plain terminal multiplies a task's token use by 2.9, and the input connection moves an LLM from 7th to 3rd place among 8. Across 5 LLMs, RECEIPT reduces false claims of success by 73.5% and completes all 25 guarded tasks on a second harness. An agent's reliability therefore depends on what its harness lets it observe as well as on its LLM. Agent builders should report what each tool call did, not only how it ended, and benchmark maintainers should fix and report the input connection before they rank LLMs.
• Abstract（参考訳）: LLMエージェントはコマンドラインからWebインフラストラクチャを運用し、リターン仮定に依存する。 しかし、多くのコマンドが行動する前に質問し、エージェントのハーネスはプログラムの入力を閉じるか、誰も入力しない端末として開き続ける。 クローズドインプットでは、要求されたアクションなしでステータス0を返すことができる。 オープンな入力では、時間制限まで待機し、エージェントは時間とトークンで支払います。 我々の知る限りでは、本論文はリターン仮定を初めて測定し、修復するものである。 91,469件のプロダクションツールコールと89,047件の公開エージェントトラジェクトリを収集し、広く使われている8つの実行コマンドの使い方をテストし、158のチェックされたコマンドライン呼び出しのカタログであるLitmusと、質問が要求されたアクションをガードするかどうかのみが異なる25のタスクペアのベンチマークであるTripwireを構築します。 次に、RECEIPTを提案し、入力をオープンにして、各プロセスがシステムコールから待ち受けているものを読み出し、モデルチェックプロトコルを介して、この状態を未修正のエージェントに返します。 Litmusでは、クローズドインプットは、要求されたアクションを実行せずに、テスト呼び出しの11.5%がステータス0を返却する。 通常の端末での未回答の質問は、タスクのトークン使用量を2.9倍にし、入力接続は8の7位から3位までLSMを移動させる。 5LLMで、RECEIPTは成功の虚偽の主張を73.5%削減し、第2のハーネスで25のガードされたタスクをすべて完了した。 したがって、エージェントの信頼性は、そのハーネスがLLMと同様に観測できるものに依存する。 エージェントビルダーは、どのように終了するかだけでなく、各ツールコールが何をしたかを報告し、ベンチマークメンテナはLSMをランク付けする前に、入力接続を修正して報告すべきである。

関連論文リスト

• Do Tool Calls Execute as Intended? Measuring and Repairing Intent-Execution Correspondence in LLM Agents [3.8542321849457495]
  大きな言語モデル(LLM)上に構築されたエージェントは、ツールコールを通じてソフトウェアを構築し、実行する。 呼び出しはいくつかのホップを通じてプログラムに到達し、いかなるホップでも通知なしでその呼び出しを変更することができる。 変更された呼び出しが失敗した場合、エージェントは正しい呼び出しをリトライする。
  論文  参考訳（メタデータ） (2026-10-03T08:38:35Z)
• Policy as Code: A Coroutine-Bridge Harness for Fast-Reasoning Reliability on CAR-bench [0.0]
  CAR-benchは、ツール使用エージェントが現実の不確実性の下で信頼性を維持しているかどうかを評価する。 モデルの唯一のアクションは、評価ツール交換所間で再開されるPythonプログラムを出力することである。
  論文  参考訳（メタデータ） (2026-09-24T08:55:13Z)
• AgentCheck: A Reproduce-Intervene-Mitigate Workbench for LLM Agents over MCP [0.0]
  AgentCheckは、実際のツールに対してエージェントを実行し、すべてのツール応答を記録し、その後、障害(12タイプ)インジェクタによって妨害されたレスポンスでエージェントを再実行します。 マッチングツールコールはキャッシュからリプレイされ、その後、エージェントが分岐した後にツールコールがライブになる。 開発者は緩和をトグルし、同じ障害に対して再実行し、障害が消滅するかどうかを確認する。
  論文  参考訳（メタデータ） (2026-07-13T05:14:12Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
  安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。 特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。 GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
  論文  参考訳（メタデータ） (2024-06-13T14:49:26Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。