論文の概要: Emergent Social Intelligence Risks in Generative Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2603.27771v2
• Date: Sat, 04 Apr 2026 07:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 12:54:54.5352
• Title: Emergent Social Intelligence Risks in Generative Multi-Agent Systems
• Title（参考訳）: 創発的マルチエージェントシステムにおける創発的ソーシャルインテリジェンスリスク
• Authors: Yue Huang, Yu Jiang, Wenjie Wang, Haomin Zhuang, Xiaonan Luo, Yuchen Ma, Zhangchen Xu, Zichen Chen, Nuno Moniz, Zinan Lin, Pin-Yu Chen, Nitesh V Chawla, Nouha Dziri, Huan Sun, Xiangliang Zhang,
• Abstract要約: マルチエージェントシステムは、実験室のプロトタイプから現実のデプロイへと急速に移行し、複雑なタスクを解決するためのリソースを共同で計画し、交渉し、割り当てている。 本稿では、共有リソースの競合、シーケンシャル・ハンドオフ・コラボレーション、集合的意思決定集約などに関わる病態における、このような創発的なマルチエージェントリスクに関する先駆的な研究について述べる。 このような集団行動は、稀なケースや病理学的ケースではなく、反復的な臨床試験や幅広い相互作用条件で頻繁に発生する。 エージェント集団が人間の社会から見慣れた障害パターンを自然に再現する社会知能リスクである。
• 参考スコア（独自算出の注目度）: 106.60961969939676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent systems composed of large generative models are rapidly moving from laboratory prototypes to real-world deployments, where they jointly plan, negotiate, and allocate shared resources to solve complex tasks. While such systems promise unprecedented scalability and autonomy, their collective interaction also gives rise to failure modes that cannot be reduced to individual agents. Understanding these emergent risks is therefore critical. Here, we present a pioneer study of such emergent multi-agent risk in workflows that involve competition over shared resources (e.g., computing resources or market share), sequential handoff collaboration (where downstream agents see only predecessor outputs), collective decision aggregation, and others. Across these settings, we observe that such group behaviors arise frequently across repeated trials and a wide range of interaction conditions, rather than as rare or pathological cases. In particular, phenomena such as collusion-like coordination and conformity emerge with non-trivial frequency under realistic resource constraints, communication protocols, and role assignments, mirroring well-known pathologies in human societies despite no explicit instruction. Moreover, these risks cannot be prevented by existing agent-level safeguards alone. These findings expose the dark side of intelligent multi-agent systems: a social intelligence risk where agent collectives, despite no instruction to do so, spontaneously reproduce familiar failure patterns from human societies.
• Abstract（参考訳）: 大規模な生成モデルで構成されたマルチエージェントシステムは、実験室のプロトタイプから現実の展開へと急速に移行し、複雑なタスクを解決するために共有リソースを共同で計画、交渉、割り当てしている。 このようなシステムは前例のないスケーラビリティと自律性を約束しますが、その集合的な相互作用は、個々のエージェントに還元できない障害モードを生み出します。 したがって、これらの突発的なリスクを理解することが重要である。 本稿では、共有リソース(例えば、コンピューティングリソースやマーケットシェア)、シーケンシャルハンドオフコラボレーション(下流エージェントが先行出力のみを見ることができる)、集合的決定集約などの競合を含むワークフローにおける、創発的なマルチエージェントリスクについて、先駆的な研究を行う。 これらの設定の中で、このような集団行動は、稀なケースや病理学的ケースではなく、繰り返し試行錯誤や幅広い相互作用条件で頻繁に発生する。 特に、現実的な資源制約、コミュニケーションプロトコル、役割割り当ての下では、共謀のような調整や整合性といった現象が非自明な頻度で出現し、明示的な指示がないにもかかわらず、人間の社会でよく知られた病理を反映している。 さらに、これらのリスクは、既存のエージェントレベルのセーフガードだけでは防げない。 これらの知見は知的マルチエージェントシステムの暗黒面を浮き彫りにしており、エージェント集団がそのような指示をしていないにもかかわらず、人間の社会から見慣れた障害パターンを自然に再現する社会知能リスクである。

関連論文リスト

• Position: AI Agents Are Not (Yet) a Panacea for Social Simulation [62.891898598784415]
  大規模言語モデル(LLM)の最近の進歩は、社会シミュレーションにLLM統合エージェントを使うことへの関心が高まっている。 このポジションペーパーは、LSMをベースとしたエージェントは社会シミュレーションのパナセアではないと主張している。
  論文  参考訳（メタデータ） (2026-02-19T06:35:07Z)
• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• Emergent Risk Awareness in Rational Agents under Resource Constraints [2.69407449467596]
  この研究は、生存圧力下で活動するAIエージェントの創発的行動の理解と解釈可能性を高めることを目的としている。 我々は、生存駆動の嗜好シフトの影響を定量化する理論的および経験的な結果を提供する。 リスク探索やリスク回避行動の出現を緩和するメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-29T13:31:12Z)
• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• Learning Collective Action under Risk Diversity [68.88688248278102]
  集団的リスクジレンマを演じることを学ぶエージェントのグループにおけるリスク多様性の結果について検討する。 リスクの多様性は、全体的な協力を著しく減らし、全体的な目標達成を妨げることを示す。 この結果から,エージェント間のリスク認識の整合性や新たな学習技術開発の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-01-30T18:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。