論文の概要: Indirect tipping: a social attack surface in AI agent populations

• arxiv url: http://arxiv.org/abs/2609.25194v1
• Date: Mon, 21 Sep 2026 17:38:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.05431
• Title: Indirect tipping: a social attack surface in AI agent populations
• Title（参考訳）: 間接的チップ:AIエージェント集団における社会的攻撃面
• Abstract要約: 座標平衡空間上の有向重み付き位相を定義する臨界質量閾値を写像する。 中間段石平衡による間接的なチップングは、代替状態に達するために必要なコミットマイノリティを減少させることができることを示す。 これらの結果は、均衡の介入に対する抵抗は本質的な性質ではなく、代替状態との競合関係の構造的特徴であることを示している。
• 参考スコア（独自算出の注目度）: 0.0815557531820863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As generative AI agents are deployed at scale, safety will depend not only on technical safeguards and individual model design, but also on collective equilibria that determine how agent populations process information, prioritize actions, and respond to uncertainty. Yet the same equilibria that enable agents to coordinate also create a social attack surface. The standard framework to assess this vulnerability is critical mass dynamics: the minimum fraction of adversarial agents required to overturn an equilibrium through direct competition. Here, we show that this approach risks underestimating system vulnerability by reducing the problem to the identification of singular tipping points, and ignoring indirect but potentially more efficient routes through which collective behavior can be redirected. Through experiments with populations of LLM agents and an analytic framework that captures their collective dynamics at scale, we map critical-mass thresholds that define a directed, weighted topology over the space of coordination equilibria, and treat this topology as a navigable landscape. We show that indirect tipping through intermediate stepping-stone equilibria can reduce the committed minority required to reach an alternative state, bypass majority requirements, and make possible transitions inaccessible through direct challenges. The diversity of available alternatives and timing of the attack further reshape this landscape, creating opportunities for control as well as risks of unintended destabilization. These results show that an equilibrium's resistance to committed intervention is not an intrinsic property but a structural feature of its competitive relations with alternative states. Securing populations of interacting AI agents therefore requires mapping this social landscape alongside individual agent capabilities and the technical channels through which they interact.
• Abstract（参考訳）: 生成可能なAIエージェントが大規模にデプロイされるため、安全性は技術的な保護と個々のモデル設計だけでなく、エージェントの集団がどのように情報を処理し、アクションを優先順位付けし、不確実性に対応するかを判断する集合平衡にも依存する。 しかし、エージェントの協調を可能にするのと同じ平衡は、社会的攻撃面も生成する。 この脆弱性を評価するための標準的な枠組みは臨界質量力学(英語版)であり、直接競合を通じて平衡を覆すために必要な敵エージェントの最小数である。 本稿では,本手法がシステム脆弱性を過小評価する要因として,特異点同定の問題の低減と,集団行動のリダイレクトが可能な間接的かつ潜在的に効率的な経路の無視があげられる。 LLMエージェントの集団による実験と、その集団力学を大規模に捉えた分析フレームワークを通じて、配位平衡空間上の有向重み付きトポロジーを定義する臨界質量閾値をマッピングし、このトポロジーをナビゲート可能なランドスケープとして扱う。 中間段石平衡による間接的な転換は、代替状態に達するために必要な少数派を減らし、多数派要件を回避し、直接的課題を通じてアクセス不能な移行を可能にすることを示す。 利用可能な選択肢の多様性と攻撃のタイミングにより、この状況はさらに再形成され、制御の機会と意図しない不安定化のリスクが生じる。 これらの結果は、均衡の介入に対する抵抗は本質的な性質ではなく、代替状態との競合関係の構造的特徴であることを示している。 したがって、相互作用するAIエージェントの集団を保護するには、個々のエージェント能力と、それらが相互作用する技術的チャネルと、この社会的景観をマッピングする必要がある。

関連論文リスト

• Mechanical Conscience: A Mathematical Framework for Dependability of Machine Intelligenc [0.0]
  本稿では、新しい概念と単純化された数学的枠組みである機械的良心(MC)を紹介する。 MCは、単一エージェントと分散インテリジェントシステムの両方のトラジェクトリレベルの規範的規制を運用している。 中心となる理論的性質は、許容性等価性、最適規制の存在、単調偏差減少である。
  論文  参考訳（メタデータ） (2026-05-05T15:14:02Z)
• Emergent Social Intelligence Risks in Generative Multi-Agent Systems [106.60961969939676]
  マルチエージェントシステムは、実験室のプロトタイプから現実のデプロイへと急速に移行し、複雑なタスクを解決するためのリソースを共同で計画し、交渉し、割り当てている。 本稿では、共有リソースの競合、シーケンシャル・ハンドオフ・コラボレーション、集合的意思決定集約などに関わる病態における、このような創発的なマルチエージェントリスクに関する先駆的な研究について述べる。 このような集団行動は、稀なケースや病理学的ケースではなく、反復的な臨床試験や幅広い相互作用条件で頻繁に発生する。 エージェント集団が人間の社会から見慣れた障害パターンを自然に再現する社会知能リスクである。
  論文  参考訳（メタデータ） (2026-03-29T17:10:28Z)
• SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
  Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。 大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。 本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
  論文  参考訳（メタデータ） (2025-10-20T19:53:02Z)
• Emergent Risk Awareness in Rational Agents under Resource Constraints [2.69407449467596]
  この研究は、生存圧力下で活動するAIエージェントの創発的行動の理解と解釈可能性を高めることを目的としている。 我々は、生存駆動の嗜好シフトの影響を定量化する理論的および経験的な結果を提供する。 リスク探索やリスク回避行動の出現を緩和するメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-29T13:31:12Z)
• Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
  教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。 本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。 我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
  論文  参考訳（メタデータ） (2025-04-15T10:41:11Z)
• Protocol Learning, Decentralized Frontier Risk and the No-Off Problem [56.74434512241989]
  私たちは第3のパラダイムであるプロトコル学習(Protocol Learning)を特定します。 このアプローチは、単一の集中型エンティティよりも桁違いに多くの計算資源を集約する可能性がある。 また、不均一で信頼性の低いノード、悪意のある参加者、インセンティブを維持するために抽出不可能なモデルの必要性、複雑なガバナンスのダイナミクスなど、新しい課題も導入されている。
  論文  参考訳（メタデータ） (2024-12-10T19:53:50Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。