論文の概要: BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2610.18780v1
- Date: Tue, 13 Oct 2026 17:34:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.69293
- Title: BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems
- Title（参考訳）: BLADE:LLMマルチエージェントシステムにおける障害帰属のための情報利用の監査
- Abstract要約: 失敗の帰属は、責任のあるエージェントと決定的なエラーステップを特定しようとする。
最近の手法は依存関係をトレースするが、情報がどこから来たかを知ることは、それがどこでうまくいかなかったかを知るのと同じではない。
BLADEは、情報のトレースを超えて、その使用を監査する、トレーニング不要のフレームワークである。
- 参考スコア（独自算出の注目度）: 26.15659003461134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model multi-agent systems extend individual agents' capabilities through collaboration across specialized roles, tools, and workflows. Yet collaboration makes failures harder to diagnose: one agent may misinterpret a correct result while others carry the mistake forward. Failure attribution therefore seeks to identify the responsible agent and decisive error step. Recent methods trace dependencies, but knowing where information came from is not the same as knowing where it went wrong. We introduce BLADE (Blame Localization via Audited Dependency Evidence), a training-free framework that moves beyond tracing information to auditing its use. Using Jev for structured probabilistic judgments, BLADE uses dependency probabilities to select relevant source-decision handoffs for auditing. At these handoffs, it examines whether receiving decisions use their sources faithfully and within task requirements, distinguishing error introduction, propagation, and repair. These findings inform a global diagnosis that considers all execution steps. Without reference answers, BLADE achieves the best or tied-best step accuracy among eight strategies under a shared Jev decision interface on 1,228 failed runs across five Who&When and Who&When Pro subsets, outperforming All-at-once by 2.2-11.1 percentage points. Making responsibility evidence explicit offers a path toward more interpretable and reliable agentic systems.
- Abstract（参考訳）: 大規模言語モデルマルチエージェントシステムは、特定の役割、ツール、ワークフローをまたいだコラボレーションを通じて、個々のエージェントの機能を拡張する。
しかし、コラボレーションは失敗を診断しにくくする。あるエージェントは正しい結果を誤解し、他のエージェントは間違いを先延ばしにします。
したがって、失敗の帰属は責任のあるエージェントと決定的なエラーステップを特定しようとする。
最近の手法は依存関係をトレースするが、情報がどこから来たかを知ることは、それがどこでうまくいかなかったかを知るのと同じではない。
BLADE(Blame Localization via Audited Dependency Evidence)は,情報のトレースを超えて,その使用を監査するトレーニングフリーフレームワークである。
Jevを使って構造化確率的判断を行い、BLADEは依存性確率を使って監査に関係のあるソース決定ハンドオフを選択する。
これらのハンドオフでは、受信した決定がソースを忠実に、タスク要求内で使用し、エラーの導入、伝播、修復を区別するかどうかを調べる。
これらの所見は,すべての実行手順を考慮に入れた世界的診断を示唆する。
BLADEは5つのWho&WhenとWho&When Proのサブセットで1,228回失敗し、オール・アット・オンスを2.2-11.1ポイント上回った。
責任証拠を明確にすることは、より解釈可能で信頼性の高いエージェントシステムへの道筋を提供する。
関連論文リスト
- Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues [41.90964421829607]
我々は,信頼できない証拠収集プロセスの回復能力からタスク解決能力の分離を図るために,UncoBench(Unreliable Colleagues Benchmark)を導入する。
10モデルにわたる結果は、同様の信頼性の高い設定性能が、信頼性の低い証拠と異なるロバスト性をもたらすことを示している。
論文 参考訳（メタデータ） (2026-10-12T03:31:54Z) - Error-Propagation Modeling for Failure Attribution in LLM-Based Multi-Agent Systems [29.307319005914227]
この研究において、帰属ターゲットは決定的なエラーであり、エージェント-ステップペアとして定義され、修正が失敗した実行を回復する。
既存のアプローチは、インタラクション間でエラーがどのように伝播するかを明示的にモデル化したり、未解決のループで永続化したりすることなく、不審なステップをほとんど特定する。
textbfError- propagation textbfModeling for textbfFailure textbfAttribution (textbfEMFA)を提案する。
Who&Whenベンチマークでは、EMFAは最先端のステップレベルの属性の精度を達成し、残る。
論文 参考訳（メタデータ） (2026-10-08T09:44:59Z) - Who Is Behind the Harness? Fingerprinting LLMs through Agentic Behavior [8.146941441861614]
我々は,コーディングエージェント実行のためのアクティブブラックボックスフィンガープリント手法であるLIDARを提案する。
3つのプローブペアは、制御された変更の下で、後続検証、過渡障害回復、および仕様-テスト競合解決を公開する。
高いTop-1精度とMRRを実現し、4つの既存の指紋認証とAPI監査ベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-23T09:12:46Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems [9.458292549037155]
LLMに基づくマルチエージェントシステムにおける障害局所化の問題について検討する。
我々は、特定のエージェントと最初期の決定的なステップの両方に障害を属性付けるフレームワークであるAgentを提案する。
実験の結果、Agentは既存の障害ローカライゼーションメソッドを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-07-08T23:33:49Z) - FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。
我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
論文 参考訳（メタデータ） (2026-05-30T15:11:35Z) - VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。
しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。
本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-17T14:09:35Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。