論文の概要: MASIF: Implicit Failures for Process Observability in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2610.25852v1
• Date: Mon, 19 Oct 2026 06:07:32 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:20:36.193714
• Title: MASIF: Implicit Failures for Process Observability in Multi-Agent Systems
• Title（参考訳）: MASIF:マルチエージェントシステムにおけるプロセスオブザーバビリティの障害
• Abstract要約: マルチエージェントシステムは、修正、バイパス、または前進するローカル実行エラーにもかかわらず、タスクを完了することができる。 これらの暗黙の失敗(IF)を、最終タスク結果を超えたプロセス観測可能性のシグナルとして研究します。
• 参考スコア（独自算出の注目度）: 8.048834004455149
• License:
• Abstract: Multi-agent systems (MAS) can complete a task despite local execution errors that are corrected, bypassed, or carried forward without individually determining its outcome. We call these implicit failures (IFs) and study them as signals for process observability beyond final task outcome. Across 1,828 traces from nine MAS-benchmark configurations, IFs occur in 54.3% of successful and 75.2% of failed traces. We develop taxonomies of error types and subsequent absorption mechanisms, supported by human and cross-model annotation audits. Counterfactual replay further probes how repairing an IF changes the final outcome. To examine the practical value of IFs, we evaluate IF-based best-of-N trace selection against existing process reward models, and introduce a novel RL algorithm, IF-GRPO, that uses IF costs to refine preferences among successful trajectories in GRPO. Experiments show that IF-GRPO exhibits some gains in accuracy and process metrics. Importantly, it exposes trade-offs between task performance, IF count and cost, and token-normalized IF density. Overall, our results show that IFs provide complementary process observability into how MAS reach their outcomes, including error recovery, propagation, and IF-based process differences that final task success alone does not expose.
• Abstract（参考訳）: マルチエージェントシステム(MAS)は、個別に結果を決定することなく修正、バイパス、または前進するローカル実行エラーにもかかわらず、タスクを完了することができる。 これらの暗黙の失敗(IF)を、最終タスク結果を超えたプロセス観測可能性のシグナルとして研究します。 9つのMASベンチマーク構成から1,828個のトレースが追跡され、IFは54.3%の成功と75.2%の失敗に終わった。 我々は,ヒューマンおよびクロスモデルアノテーション監査によって支援された,エラータイプとその後の吸収機構の分類学を開発する。 反実的なリプレイは、IFの修復によって最終的な結果がどう変わるかをさらに調査する。 IFの実用的価値を検討するため,既存のプロセス報酬モデルに対してIFベースのベストオブNトレース選択を評価し,新しいRLアルゴリズムであるIF-GRPOを導入する。 実験の結果、IF-GRPOは精度とプロセスのメトリクスが若干向上していることがわかった。 重要なことは、タスクパフォーマンス、IFカウントとコスト、トークン正規化IF密度の間のトレードオフを明らかにすることである。 本研究の結果から, IFは, エラー回復, 伝播, IFに基づくプロセスの相補的プロセスの可観測性を提供し, 最終タスクの成功のみが露呈しないことが示唆された。

関連論文リスト

• Error-Propagation Modeling for Failure Attribution in LLM-Based Multi-Agent Systems [29.307319005914227]
  この研究において、帰属ターゲットは決定的なエラーであり、エージェント-ステップペアとして定義され、修正が失敗した実行を回復する。 既存のアプローチは、インタラクション間でエラーがどのように伝播するかを明示的にモデル化したり、未解決のループで永続化したりすることなく、不審なステップをほとんど特定する。 textbfError- propagation textbfModeling for textbfFailure textbfAttribution (textbfEMFA)を提案する。 Who&Whenベンチマークでは、EMFAは最先端のステップレベルの属性の精度を達成し、残る。
  論文  参考訳（メタデータ） (2026-10-08T09:44:59Z)
• Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation [14.914697247710622]
  本稿では,自然言語理解における頑健性向上を目的とした,障害対応の逆探索強化フレームワークを提案する。 SNLIではRoBERTaベースの精度が88.48%から92.60%,ANLIでは75.04%から80.95%,MultiNLIでは54.67%から71.99%に向上した。 我々は、RoBERTa-largeを用いて、最大79.86%のFEVERスコアと82.45%の精度でFEVERの事実検証を行う。
  論文  参考訳（メタデータ） (2026-08-19T08:31:15Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
  ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。 本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T07:15:43Z)
• ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents [4.908588441456849]
  ProcCtrlBenchは、LLM符号化エージェントの実行プロセス評価のベンチマークである。 4つのカテゴリで11の障害タイプをカバーする再利用可能なオントロジーに、繰り返し実行される障害を整理する。 最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントの軌跡を評価する。
  論文  参考訳（メタデータ） (2026-05-18T08:34:48Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
  プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。 タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
  論文  参考訳（メタデータ） (2026-03-03T15:47:41Z)
• PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
  本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。 現在の検証器は、しばしば導出欠陥を検出するのに失敗する。 本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-12T04:45:01Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。