論文の概要: Before Agents Speak: Pre-hoc Failure Risk Inference in Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2607.26836v1
- Date: Wed, 29 Jul 2026 12:26:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.664171
- Title: Before Agents Speak: Pre-hoc Failure Risk Inference in Multi-Agent Systems
- Title（参考訳）: エージェントが話す前:マルチエージェントシステムにおけるプリホック障害リスク推論
- Abstract要約: LLMベースのマルチエージェントシステム(MAS)は、協調推論と意思決定において顕著な能力を示した。
局所幻覚は エージェント・コミュニケーション・チェーンに沿って伝播し 相互作用を増幅し 最終的にカスケード障害を引き起こす
既存の対策は主にポストホックのパラダイムに従っており、安全でない振る舞いが現れた後にのみ障害を特定する。
HalluPropはエージェント間の相互作用の前に個々のエージェント障害と創発的なシステムレベルの幻覚リスクを推定する。
- 参考スコア（独自算出の注目度）: 16.529918071209643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based multi-agent systems (MAS) have exhibited remarkable capabilities in collaborative reasoning and decision-making, yet their interconnected communications introduce new systemic risk: localized hallucinations can propagate along agent communication chain, amplify through interactions, and ultimately trigger cascading failures. Existing countermeasures predominantly follow a post-hoc paradigm, identifying failures only after unsafe behaviors emerge, by which time harmful effects may have already spread throughout the agent network. To tackle this problem, we investigate a complementary pre-hoc approach and propose HalluProp, a Propagation-aware Hallucination inference framework that estimates individual agent failures and emergent system-level hallucination risks before inter-agent interaction. First, we model intrinsic hallucination risks by identifying fine-grained semantic misalignment between agent roles and task queries. We then characterize inter-agent risk propagation by modeling both semantic influence and communication topology. Finally, we integrate these two risks via a differentiable Noisy-OR inference mechanism to derive a systemic diagnosis. Extensive experiments show that HalluProp accurately localizes faulty agents, achieving an average AUROC of 84.6%, while enabling sub-second diagnosis with over $65\times$ speedup over post-hoc methods. By facilitating early intervention through upstream screening, HalluProp effectively complements post-hoc methods, highlighting the potential of pre-hoc risk inference for building more reliable multi-agent systems.
- Abstract（参考訳）: LLMベースのマルチエージェントシステム(MAS)は、協調推論と意思決定において顕著な能力を示したが、相互接続されたコミュニケーションは新たなシステム的リスクをもたらす: 局所化幻覚はエージェント通信チェーンに沿って伝播し、相互作用を増幅し、最終的にカスケード障害を引き起こす。
既存の対策は主にポストホックのパラダイムに従っており、安全でない行動が出現した後にのみ障害を特定する。
この問題に対処するために, エージェント間の相互作用に先立って, 個別のエージェント障害と創発的なシステムレベルの幻覚リスクを推定する, プロパゲーション対応の幻覚推定フレームワークである HalluProp を提案する。
まず,エージェントの役割とタスククエリ間の微粒な意味的ミスアライメントを同定し,本質的な幻覚リスクをモデル化する。
次に、意味的影響とコミュニケーショントポロジの両方をモデル化することにより、エージェント間のリスク伝播を特徴付ける。
最後に,これら2つのリスクを相違可能なノイズOR推論機構によって統合し,システム診断を導出する。
大規模な実験により、HaluPropは欠陥のあるエージェントを正確にローカライズし、平均84.6%のAUROCを達成した。
上流のスクリーニングによる早期介入を促進することで、HaluPropは、より信頼性の高いマルチエージェントシステムを構築する上での、ホット前のリスク推論の可能性を強調しながら、効果的にポストホックメソッドを補完する。
関連論文リスト
- Poisoning Agentic Alpha: Adversarial Vulnerabilities Across Roles and Architectures in Multi-Agent Trading Systems [103.90831279037094]
LLMベースのマルチエージェントトレーディングシステムは、研究プロトタイプから実際の資産を管理するライブデプロイメントへと急速に移行している。
破損した信号は最終決定に伝播し、実現された財政損失に変換される。
本稿では,金融分野において,敵対的信号がマルチエージェント取引システムにどのように入るのかを特徴付ける最初の体系的実証的研究について述べる。
論文 参考訳（メタデータ） (2026-08-25T05:07:37Z) - Collective Hallucination in Multi-Agent LLMs:Modeling and Defense [0.5076419064097734]
大型言語モデル(LLM)における幻覚は、マルチエージェント設定におけるリスクを高める。
本稿では, 相互作用するLLMエージェントのネットワークにまたがるシステムレベルの時間進化過程として幻覚をモデル化する。
本稿では,信頼度重み付けアグリゲーション,適応的影響規制,外部クレーム検証,信頼できないエージェントの選択的分離を組み合わせたインタラクション対応制御手法を提案する。
論文 参考訳（メタデータ） (2026-06-06T02:04:03Z) - Multi-Agent Systems are Mixtures of Experts: Who Becomes an Influencer? [31.047683581225087]
Friedkin-Johnsen(FJ)パラメータが入力依存であることを示し、マルチエージェントの議論を専門家の混在に転換する。
我々は、エージェントの自己評価された信頼、認識された信頼、および他のエージェントの見解との最初の一致という、観測可能なプロキシを通して、どのように影響が確立されるかを分析する。
論文 参考訳（メタデータ） (2026-05-25T15:10:48Z) - Catching the Infection Before It Spreads: Foresight-Guided Defense in Multi-Agent Systems [8.60940551895875]
マルチエージェントシステム(MAS)は、特殊なエージェントによる協調的な複雑な問題解決を可能にする。
MASは感染性ジェイルブレイクに対して脆弱で、単一のエージェントを妥協することで他のエージェントに拡散し、広範な妥協につながる。
既存の防御策では、より伝染性の治療因子を訓練し、ウイルスの敵対的な例から治療薬を回収するバイアスを課している。
本稿では,行動の進化をトラッキングし,感染を除去するために,各エージェントが今後の相互作用を理由としてFLP(Foresight-Guided Local Purification)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-03T07:38:42Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - CIA: Inferring the Communication Topology from LLM-based Multi-Agent Systems [52.48183625867145]
マルチエージェントシステム(MAS)は、複雑なタスクを解く際、顕著な能力を示した。
MASの中心は、エージェントが内部で情報を交換する方法を管理する通信トポロジーである。
本稿では,MAS通信のトポロジを制限的なブラックボックス設定で推定できる,重要なプライバシーリスクについて検討する。
論文 参考訳（メタデータ） (2026-04-14T08:48:15Z) - Auditing Cascading Risks in Multi-Agent Systems via Semantic-Geometric Co-evolution [5.051136155296043]
セマンティック・幾何学的共進化に基づくカスケードリスク検出の原理的枠組みを提案する。
このフレームワークは、セマンティックフロー信号とグラフ幾何学を結合することにより、信頼されたコラボレーションの通常の共進化力学を学習する。
論文 参考訳（メタデータ） (2026-03-04T16:45:26Z) - AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。
エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。
AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
論文 参考訳（メタデータ） (2026-01-26T13:45:41Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳（メタデータ） (2026-01-22T07:16:26Z) - Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。
M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。
本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
論文 参考訳（メタデータ） (2025-09-20T01:54:20Z) - HiddenBench: Assessing Collective Reasoning in Multi-Agent LLMs via Hidden Profile Tasks [12.203366267017737]
マルチエージェント LLM における集合的推論を評価するための最初のベンチマークである HiddenBench を紹介する。
ベンチマークを基礎として,このパラダイムをカスタムタスクで形式化し,GPT-4.1グループが分散知識の統合に失敗したことを示す。
次に、カスタムデザイン、先行研究、自動生成から引き出された65のタスクにまたがる完全なベンチマークを構築します。
論文 参考訳（メタデータ） (2025-05-15T19:22:54Z) - Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。
WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
論文 参考訳（メタデータ） (2025-02-09T18:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。