論文の概要: Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?

• arxiv url: http://arxiv.org/abs/2607.09996v1
• Date: Fri, 10 Jul 2026 21:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.271445
• Title: Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?
• Title（参考訳）: LLMはAIエージェントの失敗に本当に貢献できるのか?
• Abstract要約: 本稿では,エージェントシステムにおける自動障害属性の大規模ベンチマークであるWho&When Proを紹介する。 3つのモードにまたがるゴールデンラベルと、様々なシナリオをカバーする26のベンチマークで、12,326の障害トラジェクトリを構築した。
• 参考スコア（独自算出の注目度）: 38.40404144021991
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automated failure attribution uses LLMs to identify where and why agentic systems fail. As agents become more capable, their failures become subtler, making automated attribution increasingly important. We introduce Who&When Pro, a large-scale benchmark for automated failure attribution in agentic systems. Using a strictly controlled pipeline that injects a failure only after exactly replaying a successful prefix, we construct 12,326 failed trajectories with golden labels across 3 modalities and 26 benchmarks covering various scenarios. Beyond benchmarking, we conduct extensive experiments and analyses, revealing systematic patterns in how models attribute failures across modalities, protocols, and model families, and providing empirical guidance for future automated failure attribution systems.
• Abstract（参考訳）: 自動障害帰属は LLM を使用してエージェントシステムが失敗する場所と理由を特定する。 エージェントがより能力を持つようになると、その失敗は微妙になり、自動帰属がますます重要になる。 本稿では,エージェントシステムにおける自動障害属性の大規模ベンチマークであるWho&When Proを紹介する。 正常に制御されたパイプラインを使用して、成功プレフィックスを正確に再生した後にのみ障害を注入し、3つのモードにまたがるゴールデンラベルと26のベンチマークを備えた12,326の障害トラジェクトリを構築します。 ベンチマークの他に、大規模な実験や分析を行い、モデルがモダリティ、プロトコル、モデルファミリーにまたがる障害を属性にする方法の体系的なパターンを明らかにし、将来の自動障害帰属システムに対する実証的なガイダンスを提供する。

関連論文リスト

• Adaptive Influence Graphs for Failure Attribution in Multi-Agent Systems [16.78530745432555]
  本稿では,2段階のエージェントフレームワークであるAdaptive Influence Graphs(AIGs)を紹介する。 複数のモデルにまたがって、よりリッチなトレース表現がフェール属性を継続的に改善することを示す。 この仮説は、帰属は診断モデルだけでなく、どのようにトレースが表現され、探索されるかにも依存する、という我々の仮説を裏付けるものである。
  論文  参考訳（メタデータ） (2026-08-25T10:18:19Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
  本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。 このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
  論文  参考訳（メタデータ） (2026-05-31T17:50:11Z)
• Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
  本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。 RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。 次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
  論文  参考訳（メタデータ） (2025-12-01T17:57:27Z)
• AgenTracer: Who Is Inducing Failure in the LLM Agentic Systems? [71.21547572568655]
  AgenTracer-8Bは、マルチグラニュラ強化学習で訓練された軽量障害トレーサである。 Who&Whenベンチマークでは、AgenTracer-8BはGemini-2.5-ProやClaude-4-Sonnetのような巨大なLLMを最大18.18%上回っている。 AgenTracer-8BはMetaGPTやMAASのような市販のマルチエージェントシステムに4.8-14.2%の性能向上をもたらす。
  論文  参考訳（メタデータ） (2025-09-03T13:42:14Z)
• Exploring Autonomous Agents: A Closer Look at Why They Fail When Completing Tasks [8.218266805768687]
  我々は、自律エージェントを厳格に評価するために設計された34のプログラム可能なタスクのベンチマークを示す。 LLMバックボーンと組み合わせた3つの人気のあるオープンソースエージェントフレームワークを評価し,タスク完了率約50%を観察した。 我々は,障害の原因を3段階に分類し,計画上のエラー,タスク実行の問題,誤った応答生成を強調する。
  論文  参考訳（メタデータ） (2025-08-18T17:55:22Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。