論文の概要: Outcome Monitors: Recovery Affordances for Silent Tool Failures

• arxiv url: http://arxiv.org/abs/2608.19303v1
• Date: Wed, 19 Aug 2026 17:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.361033
• Title: Outcome Monitors: Recovery Affordances for Silent Tool Failures
• Title（参考訳）: Outcome Monitors: サイレントツール障害の回復率
• Abstract要約: Outcome Monitorsは、タスクの不一致トレースから、あるいはパブリックスキーマから抽出された結果コントラクトの違反を検出する。 違反時に、モニタは結果を保存し、違反した資産と公衆回復ツールとを命名する非拘束レシートを発行する。
• 参考スコア（独自算出の注目度）: 2.9089118242427627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a tool call times out, the agent sees the failure and can route around it. A cached error page or negative price can instead arrive in the expected format and be consumed as fact. We introduce Outcome Monitors, which detect violations of outcome contracts mined from task-disjoint traces or derived from public schemas. On a violation, the monitor preserves the result and issues a nonbinding receipt naming the violated property and public recovery tools. In frozen, prespecified evaluations with injected failures, Outcome Monitors raise ToolMaze completion from 10.9% to 28.1% across four models in two provider families and replicate in a third. In tau-bench retail, completion improves by 14.0 and 12.0 points on two tiers. In separate ToolMaze controls, removing the recovery-tool list eliminates the measured gain and restoring it recovers the effect; diagnostic detail and timing produce no detectable differences. Gains concentrate where the fault blocks completion. On a suite transcribed from a published incident taxonomy, detection outside the mined vocabulary falls to 46%, though delivery continues and completion is unchanged. Recovery tools are the active receipt content in these controls; extending detection beyond the contract vocabulary remains open.
• Abstract（参考訳）: ツールがタイムアウトすると、エージェントは失敗を見て、それを回避できる。 キャッシュされたエラーページや負の価格が期待されたフォーマットに届き、実際に消費される。 本稿では,タスク不一致トレースや公開スキーマから抽出した結果コントラクトの違反を検出するアウトカムモニタを紹介する。 違反時に、モニタは結果を保存し、違反した資産と公衆回復ツールとを命名する非拘束レシートを発行する。 Outcome Monitorsは2つのプロバイダファミリーで4つのモデルで10.9%から28.1%まで完了し、3分の1で複製する。 タウベンチでは、完成度は2層で14.0ポイントと12.0ポイント向上する。 別のToolMazeコントロールでは、リカバリツールリストを削除することで、測定したゲインを排除し、その効果を回復する。 利得は、障害が完了をブロックする場所に集中します。 公表されたインシデント分類から転写されたスイートでは、採掘された語彙外の検出は46%に低下するが、納入は継続し、完了は変わらない。 これらのコントロールでは、リカバリツールがアクティブなレシートコンテンツであり、コントラクトボキャブラリを越えて検出を拡張することは依然としてオープンである。

関連論文リスト

• Fabrication After Tool Failure: Tool-Augmented Agents Assert Values Their Tools Did Not Return [7.146717861821737]
  ツール拡張言語モデルは、ツールの供給に失敗した時に正直に報告するかどうかではなく、正しい回答に達するかどうかで評価される。 16のシステムドメインと8つのツール障害タイプにまたがる1024項目のベンチマークで、この障害後の決定を分離する。
  論文  参考訳（メタデータ） (2026-09-13T19:46:42Z)
• Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
  3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。 ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
  論文  参考訳（メタデータ） (2026-08-28T15:25:12Z)
• Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
  障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。 問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
  論文  参考訳（メタデータ） (2026-08-24T10:19:17Z)
• Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses [8.002494437891077]
  リターンがエージェントコンテキストに入ると、ツールの障害を分析します。 確率に基づく信号は、不完全なリターンといくつかの直接的な不整合をはっきりと捉えていることを示す。 可能性信号の弱いいくつかの障害は、エージェントを状態変化アクションにリダイレクトすることができる。
  論文  参考訳（メタデータ） (2026-08-24T00:26:57Z)
• TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows [2.435006380732194]
  ノイズの多いトレースをトラジェクトリにコンパイルする,スキルガイドシステムであるTraceCompilerを提案する。 あらゆるハードエッジは監査可能な証拠を持ち、あいまいな関係が疑われる。 コールの削減を計測するが、オフラインのコンパイルコストはかからない。
  論文  参考訳（メタデータ） (2026-08-03T01:05:06Z)
• CUADebug: Diagnosing and Repairing Computer-Use Agent Failures [65.56066380320107]
  コンピュータ利用エージェント(CUA)は、スクリーンショット、マウスとキーボードのアクション、ステートフルなUIフィードバックを通じて、実際のデスクトップとWebインターフェースを操作する。 テキストのみのエージェントとは異なり、CUAの失敗は、視覚知覚、接地、低レベル相互作用、タスク推論、環境ダイナミクスの複合から生じる。 CUA障害の診断と修復のためのフレームワークであるCUA Debugを紹介する。
  論文  参考訳（メタデータ） (2026-07-31T13:59:45Z)
• Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
  正しいパッチの発見と保持、検証、提出のギャップについて検討する。 我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-27T16:05:23Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents [1.6567880228735357]
  ポリシーを許容する環境では、対応する状態遷移がドメインポリシーによって禁じられている場合であっても、ツールはよくできた呼び出しを実行できる。 我々は、この障害モードを2ドルの航空会社ドメインで研究する。 我々は、決定論的かつリードオンリーの事前実行ゲートという、軽量な介入を評価する。
  論文  参考訳（メタデータ） (2026-07-08T13:38:54Z)
• When Tools Fail: Benchmarking Dynamic Replanning and Anomaly Recovery in LLM Agents [48.32450507410869]
  既存のベンチマークでは、LLMにおけるツール統合推論を理想化された'ハッピーパス'に基づいて評価している。 我々はTIRエージェントの動的経路探索とエラー回復のためのベンチマークであるToolMazeを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T07:38:46Z)
• Verify-Gated Completion as Admission Control in a Governed Multi-Agent Runtime: A Bounded Architecture Case Study [0.6875312133832079]
  制御されたマルチエージェントランタイムの入出力制御パターンとして,検証ゲート補完について検討する。 観測条件下では,読み取り専用検証ゲートとパケット化入力記録が検査可能で,フェールクロースされた。
  論文  参考訳（メタデータ） (2026-05-18T07:52:13Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。