論文の概要: When Autonomy Goes Rogue: Preparing for Risks of Multi-Agent Collusion in Social Systems

• arxiv url: http://arxiv.org/abs/2507.14660v2
• Date: Thu, 24 Jul 2025 06:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 13:02:36.835326
• Title: When Autonomy Goes Rogue: Preparing for Risks of Multi-Agent Collusion in Social Systems
• Title（参考訳）: 自律性がローグに進むとき - 社会システムにおけるマルチエージェント衝突のリスクに備える
• Authors: Qibing Ren, Sitao Xie, Longxuan Wei, Zhenfei Yin, Junchi Yan, Lizhuang Ma, Jing Shao,
• Abstract要約: 悪意のあるマルチエージェントシステム(MAS)のリスクをシミュレートするための概念実証手法を提案する。 この枠組みを、誤情報拡散とeコマース詐欺という2つのリスクの高い分野に適用する。 その結果,分散システムの方が,集中型システムよりも悪意ある行動を実行するのに効果的であることが示唆された。
• 参考スコア（独自算出の注目度）: 78.04679174291329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent large-scale events like election fraud and financial scams have shown how harmful coordinated efforts by human groups can be. With the rise of autonomous AI systems, there is growing concern that AI-driven groups could also cause similar harm. While most AI safety research focuses on individual AI systems, the risks posed by multi-agent systems (MAS) in complex real-world situations are still underexplored. In this paper, we introduce a proof-of-concept to simulate the risks of malicious MAS collusion, using a flexible framework that supports both centralized and decentralized coordination structures. We apply this framework to two high-risk fields: misinformation spread and e-commerce fraud. Our findings show that decentralized systems are more effective at carrying out malicious actions than centralized ones. The increased autonomy of decentralized systems allows them to adapt their strategies and cause more damage. Even when traditional interventions, like content flagging, are applied, decentralized groups can adjust their tactics to avoid detection. We present key insights into how these malicious groups operate and the need for better detection systems and countermeasures. Code is available at https://github.com/renqibing/RogueAgent.
• Abstract（参考訳）: 選挙詐欺や金融詐欺のような近年の大規模な出来事は、人間の集団による協調的努力がいかに有害であるかを示している。 自律型AIシステムの台頭により、AI駆動型グループが同様の害を引き起こす可能性があるという懸念が高まっている。 ほとんどのAI安全研究は個々のAIシステムに焦点を当てているが、複雑な実世界の状況においてマルチエージェントシステム(MAS)によって引き起こされるリスクはまだ調査されていない。 本稿では,集中的・分散的な協調構造をサポートするフレキシブルなフレームワークを用いて,悪意あるMAS衝突のリスクをシミュレートする概念実証を紹介する。 この枠組みを、誤情報拡散とeコマース詐欺という2つのリスクの高い分野に適用する。 その結果,分散システムの方が,集中型システムよりも悪意ある行動を実行するのに効果的であることが示唆された。 分散システムの自律性の向上により、戦略に適応し、より多くの損害を与えることができる。 コンテンツフラグ付けのような従来の介入を適用しても、分散化されたグループは検出を避けるために戦術を調整することができる。 我々は、これらの悪意ある集団がどのように機能するか、そして、より良い検知システムと対策の必要性について、重要な洞察を提示する。 コードはhttps://github.com/renqibing/RogueAgent.comで入手できる。

関連論文リスト

• The Problem of Algorithmic Collisions: Mitigating Unforeseen Risks in a Connected World [2.8775022881551666]
  人工知能(AI)やその他の自律的なアルゴリズムシステムの展開が増加し、世界は新たなシステム的リスクを抱えている。 現在のガバナンスフレームワークは、この複雑な相互作用のエコシステムの可視性を欠いているため、不十分です。 本稿では、この課題の性質を概説し、フェーズドシステム登録による透明性と説明責任の向上、デプロイメントのライセンスフレームワーク、監視機能の強化などに焦点を当てた初期方針を提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:22:18Z)
• An Outlook on the Opportunities and Challenges of Multi-Agent AI Systems [40.53603737069306]
  マルチエージェントAIシステム(MAS)は、内部生成モデルに基づいて対話、情報交換、意思決定を行う複数の自律エージェントで構成されている。 本稿では,MASを解析するための形式的枠組みについて概説する。
  論文  参考訳（メタデータ） (2025-05-23T22:05:19Z)
• Neurodivergent Influenceability as a Contingent Solution to the AI Alignment Problem [1.3905735045377272]
  AIアライメント問題は、人工知能(AI)システムが人間の価値観に従って行動することを保証することに重点を置いている。 狭義のAIからAI(Artificial General Intelligence, AGI)やスーパーインテリジェンス(Superintelligence, 超知能)への進化に伴い、制御に対する恐怖と現実的なリスクがエスカレートした。 ここでは、避けられないAIのミスアライメントを受け入れることが、競合するエージェントの動的なエコシステムを育むための緊急戦略であるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-05T11:33:18Z)
• Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents [0.0]
  分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。 textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
  論文  参考訳（メタデータ） (2025-05-04T12:03:29Z)
• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Risk-aware Safe Control for Decentralized Multi-agent Systems via Dynamic Responsibility Allocation [36.52509571098292]
  我々は,個別のエージェントが他者との衝突を避けるためにどの程度の責任を負うべきかに関するガイダンスを提供する,リスク対応の分散制御フレームワークを提案する。 本研究では,移動不確実性下での衝突により発生する危険物質を特徴付けるために,新しい制御バリア関数(CBF)によるリスク測定を提案する。 ロボットの柔軟性を低いリスクで活用し、より高いリスクを持つ人の動きの柔軟性を向上させることで、集団安全性を向上させることができる。
  論文  参考訳（メタデータ） (2023-05-22T20:21:49Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• Graph Neural Networks for Decentralized Controllers [171.6642679604005]
  自律エージェントで構成される動的システムは、ロボット工学、スマートグリッド、スマートシティなど、多くの関連する問題に現れる。 最適な集中型コントローラは容易に利用できるが、スケーラビリティと実用的な実装の面で制限に直面している。 グラフニューラルネットワーク(GNN)を用いて,データから分散制御系を学習するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-23T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。