論文の概要: VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2605.17467v1
• Date: Sun, 17 May 2026 14:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.369904
• Title: VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems
• Title（参考訳）: VerifyMAS: LLMマルチエージェントシステムにおけるフェール属性の仮説検証
• Authors: Hezhe Qiao, Hanghang Tong, Ee-Peng Lim, Bing Liu, Guansong Pang,
• Abstract要約: 大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。 しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。 本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 79.51005192758262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model-driven multi-agent systems (LLM-MAS) excel at complex tasks, yet unreliable agents remain a key bottleneck to system-level reliability. Automatic failure attribution is therefore critical, but existing approaches, such as direct prediction of agent-error pairs and agent-first failure attribution, rely on local logs of agents and miss global failures that only manifest over full interaction trajectories, such as cross-step inconsistencies and inter-agent coordination errors. Moreover, directly predicting failures induces a large combinatorial search space, hindering fine-grained attribution. To address these challenges, we propose VerifyMAS, a hypothesis verification framework for agent failure attribution. Instead of directly predicting faulty agents and error types, VerifyMAS formulates and verifies failure hypotheses against full trajectories. This verification-based approach decomposes attribution into trajectory-level error validation and fine-grained agent localization, providing an error-first attribution approach that captures global failure patterns while substantially reducing the search space. We further introduce a hypothesis-based data construction strategy grounded in a structured error taxonomy and fine-tune a specialized LLM verifier model for trajectory-level failure verification and agent attribution. Experiments on Aegis-Bench and Who&When show that VerifyMAS consistently improves diverse backbone models, including open-source Qwen and API-based GPT models, outperforming prior methods without sacrificing inference efficiency for long multi-agent trajectories.
• Abstract（参考訳）: 大規模言語モデル駆動型マルチエージェントシステム(LLM-MAS)は複雑なタスクでは優れているが、信頼性の低いエージェントはシステムレベルの信頼性において重要なボトルネックである。 したがって、自動的な障害帰属は重要であるが、エージェントとエラーペアの直接予測やエージェントファーストの障害帰属といった既存のアプローチは、エージェントのローカルなログに依存し、クロスステップの不整合やエージェント間の調整エラーのような完全な相互作用軌跡にのみ現れるグローバルな障害を見逃す。 さらに、障害を直接予測すると、大きな組合せ探索空間が引き起こされ、きめ細かい帰属が妨げられる。 これらの課題に対処するため,エージェント故障帰属の仮説検証フレームワークであるVerifyMASを提案する。 エラーエージェントやエラータイプを直接予測する代わりに、VerifyMASは完全な軌道に対する障害仮説を定式化し検証する。 この検証に基づくアプローチは、帰属をトラジェクトリレベルのエラー検証ときめ細かなエージェントローカライゼーションに分解し、グローバルな障害パターンを捕捉し、検索空間を大幅に削減するエラーファーストな帰属アプローチを提供する。 さらに,構造的誤り分類に基づく仮説に基づくデータ構築戦略を導入し,軌道レベルの故障検証とエージェント属性に対する特殊なLSM検証モデルを微調整する。 Aegis-Bench と Who&When の実験によると,VerifyMAS はオープンソース Qwen や API ベースの GPT モデルなど,さまざまなバックボーンモデルの改善を一貫して実施している。

関連論文リスト

• Conformal Agent Error Attribution [12.400746451700945]
  本稿では,共形予測(CP)に基づく誤り帰属の枠組みを提案する。 エージェントトラジェクトリなどのシーケンシャルデータ用に設計されたフィルタベースCPの新しいアルゴリズムを提案する。 我々の全体的なアプローチはモデルに依存しないものであり、MASエラーの帰属に対する原則的不確実性層を提供する。
  論文  参考訳（メタデータ） (2026-05-07T18:00:07Z)
• Towards Self-Improving Error Diagnosis in Multi-Agent Systems [31.04613892300063]
  セマンティック障害帰属のための自己改善フレームワークであるErrorProbeを紹介する。 ErrorProbeは、責任あるエージェントと発生したエラーステップを特定する。 検証されたエピソードメモリを維持しており、実行可能証拠によってエラーパターンが確認された場合にのみ更新される。
  論文  参考訳（メタデータ） (2026-04-19T23:13:05Z)
• ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
  ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。 ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
  論文  参考訳（メタデータ） (2026-02-13T14:33:13Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• Automatic Failure Attribution and Critical Step Prediction Method for Multi-Agent Systems Based on Causal Inference [8.823529310904162]
  マルチエージェントシステム(MAS)は複雑なタスクの自動化に不可欠であるが、その実践的展開は障害帰属の課題によって妨げられている。 マルチグラニュラリティ因果推論に基づくMASのための最初の失敗帰属フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-10T15:22:00Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。