論文の概要: Inter-Agent Influence: Evaluating Persuasion, Deception, and Coercion in Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2611.04556v1
- Date: Tue, 03 Nov 2026 09:23:12 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:47:38.626501
- Title: Inter-Agent Influence: Evaluating Persuasion, Deception, and Coercion in Multi-Agent Systems
- Title（参考訳）: エージェント間影響:マルチエージェントシステムにおけるパース, 騙し, 強制評価
- Abstract要約: マルチエージェント設定でのAIエージェントのデプロイは、エージェント間の影響を可能にし、エージェントは、意図した結果に向けて、互いの行動を戦略的に操縦することができる。
このような能力は、悪意のあるエージェントが他人を有害な行動に誘導する可能性があるため、新たなリスクを引き起こす。
我々は5つの現実的な評価環境とフロンティア言語モデルでインスタンス化された様々なエージェントの3つの機能(説得、偽造、強制)について検討する。
- 参考スコア（独自算出の注目度）: 22.771603514218814
- License:
- Abstract: The deployment of AI agents in multi-agent settings enables inter-agent influence, whereby agents can strategically steer each other's behaviour towards an intended outcome. Such capabilities pose novel risks, as malicious agents could direct others towards harmful actions. In this work we investigate three such capabilities - persuasion, deception, and coercion - across five realistic evaluation environments and a variety of agents instantiated with frontier language models. We observed significant inter-agent influence capabilities; in oversight environments, all tested models shifted overseer decisions from rejection to approval through persuasion, deception, or coercion. We also observed successful influence in non-hierarchical 'peer-to-peer' settings through redirection of a peer's safety research trajectory. As multi-agent deployments become increasingly commonplace, these results point to a pressing need for work on mitigating the risks from inter-agent influence. Code and data are available at https://github.com/Cooperative-AI-Foundation/inter-agent-influence.
- Abstract（参考訳）: マルチエージェント設定でのAIエージェントのデプロイは、エージェント間の影響を可能にし、エージェントは、意図した結果に向けて、互いの行動を戦略的に操縦することができる。
このような能力は、悪意のあるエージェントが他人を有害な行動に誘導する可能性があるため、新たなリスクを引き起こす。
本研究では,5つの現実的な評価環境と,フロンティア言語モデルでインスタンス化されたエージェントの3つの機能(説得,偽装,強制)について検討する。
監視環境下では、全ての試験されたモデルは、パース、偽装、強制を通じて、拒絶から承認へと監督者決定を移行した。
また,非階層的な「ピアツーピア」設定において,同僚の安全研究軌跡のリダイレクトによる影響も観察した。
マルチエージェントのデプロイメントがますます一般的になるにつれて、これらの結果はエージェント間の影響からリスクを軽減するための作業の必要性を増していることを示している。
コードとデータはhttps://github.com/Cooperative-AI-Foundation/inter-agent-influenceで公開されている。
関連論文リスト
- Poisoning Agentic Alpha: Adversarial Vulnerabilities Across Roles and Architectures in Multi-Agent Trading Systems [103.90831279037094]
LLMベースのマルチエージェントトレーディングシステムは、研究プロトタイプから実際の資産を管理するライブデプロイメントへと急速に移行している。
破損した信号は最終決定に伝播し、実現された財政損失に変換される。
本稿では,金融分野において,敵対的信号がマルチエージェント取引システムにどのように入るのかを特徴付ける最初の体系的実証的研究について述べる。
論文 参考訳（メタデータ） (2026-08-25T05:07:37Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。
M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。
本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
論文 参考訳（メタデータ） (2025-09-20T01:54:20Z) - PeerGuard: Defending Multi-Agent Systems Against Backdoor Attacks Through Mutual Reasoning [8.191214701984162]
マルチエージェントシステムは、複雑なタスクを完了させたり、協力したり、競合したりする自律エージェントとして、高度なAIモデルを活用する。
重要性は増しているが、マルチエージェントシステムの安全性はいまだに未調査である。
本研究では,マルチエージェントシステムにおけるバックドア脆弱性を調査し,エージェントインタラクションに基づく防御機構を提案する。
論文 参考訳（メタデータ） (2025-05-16T19:08:29Z) - Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。
WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
論文 参考訳（メタデータ） (2025-02-09T18:35:08Z) - Learning Latent Representations to Influence Multi-Agent Interaction [65.44092264843538]
エージェントのポリシーの潜在表現を学習するための強化学習に基づくフレームワークを提案する。
提案手法は代替手段よりも優れており,他のエージェントに影響を与えることを学習している。
論文 参考訳（メタデータ） (2020-11-12T19:04:26Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳（メタデータ） (2020-06-10T20:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。