論文の概要: Where Does Exactly-Once Live? Model, Harness, and Tool-Contract Effects on Duplicate Side Effects in LLM Agents
- arxiv url: http://arxiv.org/abs/2609.29095v1
- Date: Thu, 24 Sep 2026 06:24:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.749746
- Title: Where Does Exactly-Once Live? Model, Harness, and Tool-Contract Effects on Duplicate Side Effects in LLM Agents
- Title(参考訳): LLM剤の重複側効果に対するモデル, ハーネス, ツールコントラクションの影響
- Abstract要約: LIMBOは、現実的な契約を持つ6つのサービスからなる決定論的サンドボックスである。
全てのエピソードは、コミットされた効果の台帳に対して評価される。
我々は、検証のみのポリシーが、遅れたコミットの下で正確に1度ではないことを証明します。
- 参考スコア(独自算出の注目度): 7.504639516424482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a tool-using agent's write times out or returns a server error, the action may already have taken effect. Retrying blindly duplicates it -- a second charge, a second announcement, a second deployment -- while giving up skips required work. We ask where exactly-once behaviour should be enforced: in the model, in the agent harness, or in the tool contract. We introduce LIMBO, a deterministic sandbox of six services with realistic contracts (optional idempotency keys, eventually consistent and missing read paths) and twelve fault modes injected at the service boundary, including late commits, redelivery and partial batches; every episode is graded against a ledger of committed effects. Across 25,930 episodes spanning nine recent models, three production agent harnesses, two contract variants and fifteen recovery conditions, the answer depends on the fault. When an immediate read-back can reveal what happened, the model decides: frontier models instructed to act exactly once almost never duplicate a write whose acknowledgement was lost (0.5%), weaker models often do, and the model explains 53% of the explained variance. When it cannot -- the request is still in flight, or the transport delivered it twice -- the same frontier models duplicate in 56% and 74% of episodes, and the contract explains 81%. We prove that no verification-only policy is exactly-once under late commits without a bound on in-flight time. Waiting works when such a bound is short and known, but with heavy-tailed in-flight delays even an hour of waiting per episode falls short of offering an idempotency key on every write, which lowers the duplicate rate from 28% to 4% because agents use keys when they exist. The harness barely matters, a guard that attaches keys transfers across harnesses unchanged, and agents reported success in 90% of the episodes in which they had duplicated an effect.
- Abstract(参考訳): ツール使用エージェントの書き込みタイムアウトやサーバエラーの返却では、アクションがすでに有効になった可能性がある。
2回目はチャージ、2回目は発表、2回目はデプロイだ。
モデルで、エージェントハーネスで、あるいはツールコントラクトで、正確に1対1の振る舞いをどこで実施すべきかを問う。
LIMBOは6つのサービスからなる決定論的サンドボックスで、現実的な契約(オプションのイデペンシブキー、最終的に整合性のある読み取りパス)と12の障害モードがサービス境界に注入される。
最近の9つのモデル、3つの生産エージェントハーネス、2つの契約変更と15のリカバリ条件にまたがる25,930エピソードにまたがって、答えは欠点に依存している。
正しく1度だけ振る舞うように指示されたフロンティアモデルは、認識が失われる書き込み(0.5%)を正確に複製しないよう指示され、より弱いモデルはよく行われ、モデルは説明されたばらつきの53%を説明します。
56%と74%のエピソードで同じフロンティアモデルが重複しており、契約では81%と説明されている。
検証のみのポリシーが、飛行中の時間に縛られることなく、遅れたコミットの下で正確に1度ではないことを証明します。
このような境界が短くて知名度が高い場合は待機するが、1回に1時間の待ち時間さえ重くなると、書き込み毎にイデオロシキーが提供されないため、エージェントがキーを使用するため、重複レートが28%から4%に低下する。
ハーネスはかろうじて重要で、ハーネスをまたいでキーを移動させるガードは変わらず、エージェントは効果を複製したエピソードの90%で成功を報告した。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - FinalityBench: An Effect-Level Benchmark for Agent Decisions Under Delayed and Conflicting Financial Finality [1.350933217151331]
FinalityBenchは、ファイナリティゲーティング決定のための実行可能なベンチマークである。
グラディングは実行された金銭的効果に基づいており、あるエピソードは商人の経済的な立場によって記録される。
権威的ファイナリティプローブ上の不可逆的なアクションをゲーティングするランタイムは85.4%に達し、全てのポーリングポリシーとは異なり、パス5には何も失われない。
論文 参考訳(メタデータ) (2026-09-04T04:24:10Z) - Invalidation Contracts for Cross-Episode Agent Memory [0.8673353590830692]
APIエラーからのリカバリ提案をキャッシュするLLMエージェントは、後続のエピソードでリデリベーションをスキップすることができる。
サーバ側のデータドリフトは、キャッシュされた修正をサイレント障害にします。
バージョンスタンプとキャッシュ可能性ヒントをすべてのリカバリ提案にアタッチするプロトコル層である、無効化契約を導入する。
論文 参考訳(メタデータ) (2026-08-31T18:45:07Z) - Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence [0.0]
1つのモデルの2つの例は、2つのエージェントのハンドオフにおいて、ミッションの90.0%で共失敗する。
異なるモデルの置換は、6つのコントラストのうち6つのコントラストの関連を減少させる。
論文 参考訳(メタデータ) (2026-08-13T07:25:05Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳(メタデータ) (2026-08-11T16:18:34Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳(メタデータ) (2026-08-01T18:25:00Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳(メタデータ) (2026-07-19T22:27:00Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳(メタデータ) (2025-11-26T01:28:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。