論文の概要: Misinformation Propagation in Benign Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2606.16710v1
- Date: Mon, 15 Jun 2026 13:40:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:34.581205
- Title: Misinformation Propagation in Benign Multi-Agent Systems
- Title(参考訳): 良性多エージェントシステムにおける誤情報伝播
- Authors: Jonas Becker, Jan Philip Wahle, Terry Ruas, Bela Gipp,
- Abstract要約: マルチエージェントシステムは、医学的診断、法的な分析、法医学的な意思決定など、ハイテイクな環境にますます導入されている。
彼らの信頼性は、単一のエージェントが誤った、あるいは誤解を招くコンテキストから推論した場合、危険にさらされる可能性がある。
本研究は、意図に基づく誤報を良性単エージェントおよび多エージェントシステムに注入することにより、このリスクを研究する。
- 参考スコア(独自算出の注目度): 11.967259729189388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent systems, in which multiple large language model agents solve problems through turn-based interaction, are increasingly deployed in high-stakes settings such as medical diagnosis, legal analysis, and forensic decision-making. Their reliability can be at risk when single agents reason from incorrect or misleading context, e.g., from tool calls, since errors may propagate through agent interactions. This work studies this risk by injecting intent-based misinformation into benign single-agent and multi-agent systems across reasoning, knowledge, and alignment tasks. We find that misinformation can degrade single-agent performance and persists across multi-agent debate, with agents often retaining answers introduced by misinformed peers. Nevertheless, multi-agent debate reduces the resulting performance degradation compared to single-agent prompting, especially when most agents are not exposed to misinformation. Robustness depends on group composition and decision protocol. Consensus can be more stable than voting under peer pressure, while majorities can often steer misinformed agents back toward correct answers. Our results show that misinformation robustness in multi-agent systems depends on the underlying model and also on how agents exchange information and aggregate decisions.
- Abstract(参考訳): 複数の大規模言語モデルエージェントがターンベースインタラクションを通じて問題を解くマルチエージェントシステムは、医療診断、法的な分析、法医学的意思決定などの高度な状況において、ますます多くデプロイされている。
エラーがエージェントのインタラクションを通じて伝播する可能性があるため、単一のエージェントが誤ったあるいは誤解を招くコンテキスト、例えばツールコールから推論する場合、その信頼性は危険にさらされる可能性がある。
この研究は、意図に基づく誤報を推論、知識、アライメントタスクを越えて良質な単一エージェントおよびマルチエージェントシステムに注入することで、このリスクを研究する。
誤報はシングルエージェントのパフォーマンスを低下させ、マルチエージェントの議論を継続し、エージェントはしばしば誤報された同僚によってもたらされる回答を保持する。
にもかかわらず、マルチエージェントの議論は、特にほとんどのエージェントが誤情報に晒されていない場合、シングルエージェントのプロンプトよりもパフォーマンスの劣化を減少させる。
ロバスト性はグループ構成と決定プロトコルに依存する。
コンセンサスは、ピアプレッシャーの下で投票するよりも安定しているが、多数派は誤報されたエージェントを正しい答えに戻すことができる。
以上の結果から,マルチエージェントシステムにおける誤情報堅牢性は,エージェントが情報交換や集合決定を行う方法にも依存することがわかった。
関連論文リスト
- OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳(メタデータ) (2026-02-13T21:32:32Z) - AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。
各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。
シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
論文 参考訳(メタデータ) (2026-02-03T19:18:28Z) - Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。
M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。
本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
論文 参考訳(メタデータ) (2025-09-20T01:54:20Z) - PeerGuard: Defending Multi-Agent Systems Against Backdoor Attacks Through Mutual Reasoning [8.191214701984162]
マルチエージェントシステムは、複雑なタスクを完了させたり、協力したり、競合したりする自律エージェントとして、高度なAIモデルを活用する。
重要性は増しているが、マルチエージェントシステムの安全性はいまだに未調査である。
本研究では,マルチエージェントシステムにおけるバックドア脆弱性を調査し,エージェントインタラクションに基づく防御機構を提案する。
論文 参考訳(メタデータ) (2025-05-16T19:08:29Z) - Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。
WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
論文 参考訳(メタデータ) (2025-02-09T18:35:08Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z) - Subjective Knowledge and Reasoning about Agents in Multi-Agent Systems [5.983405936883194]
多エージェントシステムでは、エージェントは他のエージェントの精神状態に影響を与える可能性がある。
本稿では,エージェントの主観的知識に基づいて,Kripke構造に基づくてんかんモデルを拡張して,上記の概念を表現する方法について検討する。
論文 参考訳(メタデータ) (2020-01-22T13:50:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。