論文の概要: ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay

• arxiv url: http://arxiv.org/abs/2610.41025v1
• Date: Thu, 29 Oct 2026 22:11:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.505762
• Title: ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay
• Title（参考訳）: ReplayRCA:反現実的リプレイによる治療失敗の術後診断と生検の測定
• Abstract要約: 言語モデルエージェントがマルチステップタスクをフェールした場合、他のモデルが決定的なミスを見つけ、単一のアクションで修正できるだろうか? ReplayRCAは、アノテーションとの一致ではなく、介入による診断をスコアするベンチマークである。 因果的修復(英: causal repair)とは、エージェントの元々の動作を同じメカニズムでリプレイする、ペアのプラセボの連続成功率を除いたスコアである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a language-model agent fails a multi-step task, can another model find the decisive mistake and fix it with a single action? We introduce ReplayRCA, a benchmark that scores such diagnoses by intervention rather than by agreement with annotations: the environment is restored to the state preceding the chosen step, the proposed action replaces the agent's own, and the same agent continues. The score, causal repair, is the continuation success rate minus that of a paired placebo that replays the agent's original action through the same mechanism. Two tracks share this protocol: a post-hoc autopsy, where the diagnoser sees the whole failed run and is told that it failed, and live oversight, where a supervisor watches the run unfold and may intervene once, before an irreversible action, without knowing whether the run will fail. Tasks come from OpsWorld, a deterministic, procedurally generated back-office environment with six difficulty levels, the last of which is multimodal (QR codes, handwriting). On 62 calibrated systematic failures, the best of 13 frontier models (Grok 4.7) reaches a causal repair of +51.3 points; the top eight models are statistically indistinguishable, the flagship models of the two largest vendors rank 8th and 12th, and 5 items are repaired by no model. Forcing a strong model to intervene at the last step costs it 17.1 points, so the last-step shortcut of annotation-based attribution benchmarks does not transfer. On 87 runs, the two best live supervisors are statistically tied and one of them is a small open-weight model (DeepSeek V4.1 Flash); the supervisor that is among the best post-hoc diagnosers (GPT-6.1 Sol) is the weakest live one (-14.5 points on the same runs, p = 0.002), so post-hoc diagnostic performance can be a poor proxy for live oversight. The environment and the evaluation code are released at https://github.com/jeremy1392/RCAreplay.
• Abstract（参考訳）: 言語モデルエージェントがマルチステップタスクをフェールした場合、他のモデルが決定的なミスを見つけ、単一のアクションで修正できるだろうか? ReplayRCAは、アノテーションとの一致ではなく、介入による診断をスコアするベンチマークで、選択されたステップの前に環境が復元され、提案されたアクションがエージェント自身を置き換え、同じエージェントが継続する。 因果的修復(英: causal repair)とは、エージェントの元々の動作を同じメカニズムでリプレイする、ペアのプラセボの連続成功率を除いたスコアである。 2つのトラックは、このプロトコルを共有している: ホック後の検死: 診断者が全体の失敗を目撃し、それが失敗したと告げられ、ライブ監視され、監督者がランが展開され、ランが失敗するかどうかを知らずに、一度は介入する可能性がある。 OpsWorldは決定論的で手続き的に生成されたバックオフィス環境で、6つの難易度があり、最後はマルチモーダル(QRコード、手書き)である。 62の校正されたシステム障害では、13のフロンティアモデル(Grok 4.7)が+51.3ポイントの因果修理に到達し、上位8モデルは統計的に区別不能であり、2つの大手ベンダーのフラッグシップモデルが8位と12位、そして5つのアイテムはモデルなしで修理される。 最後のステップで強いモデルを介入させると17.1ポイントかかるため、アノテーションベースの属性ベンチマークの最後のステップのショートカットは転送されない。 87ランでは、2つの最高のライブスーパーバイザーが統計的に結びついており、そのうちの1つは小さなオープンウェイトモデル(DeepSeek V4.1 Flash)であり、最高のポストホック診断器(GPT-6.1 Sol)の1つであるスーパーバイザーは最も弱いライブスーパーバイザーである(同じランで-14.5ポイント、p = 0.002)。 環境と評価コードはhttps://github.com/jeremy1392/RCAreplayで公開される。

関連論文リスト

• Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done? [0.0]
  このレポートは、コーディングクライアント間の2026年7月から10月までの私のエンジニアリング作業に続くものです。 サービスされたモデル、一貫性のあるテキスト、実行されたツール呼び出し、独立した振る舞いチェックをパスするコードは、明確な進捗レベルであることが判明した。
  論文  参考訳（メタデータ） (2026-10-25T12:15:46Z)
• Loud Failures, Quiet Failures: Fault Detection and Recovery in Tool-Using Language Model Agents [0.0]
  我々は、ツールが明示的なエラーを返す場合の91.3%の試験において、エージェントが障害を問題として扱うことを示したが、その58.8%の試験では、それが妥当な間違った値を返す。 兄弟姉妹に対してペアを組むと(-9.3点、p .001)、変更計画がさらに(+10.4点、p .001)、回復は変化しない(p =.512)。 障害後、エージェントは同じツールに最大22.2%の試験で3回以上連続して戻るが、正確に同じ繰り返しはまれである。
  論文  参考訳（メタデータ） (2026-10-07T13:29:59Z)
• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
  AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。 記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。 我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
  論文  参考訳（メタデータ） (2026-09-09T08:29:16Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
  長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。 エージェントはデプロイ後、いつまで信頼できるのか? エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
  論文  参考訳（メタデータ） (2026-05-25T19:55:12Z)
• AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
  AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。 i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
  論文  参考訳（メタデータ） (2026-05-19T22:05:12Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。