論文の概要: Emergent Collusion in Long-Horizon LLM Agent Interaction

• arxiv url: http://arxiv.org/abs/2609.24967v2
• Date: Sat, 26 Sep 2026 08:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.599966
• Title: Emergent Collusion in Long-Horizon LLM Agent Interaction
• Title（参考訳）: 長距離LDMエージェント相互作用における創発的衝突
• Abstract要約: 長距離マルチエージェント環境における衝突の発生について検討した。 検証プロトコルに違反するだけで高い報酬が達成できる現実的な制約を導入する。 衝突は10モデルにわたる軌道の94%で発生し、同じファミリー内のより有能なモデルがそれより早く到達する。
• 参考スコア（独自算出の注目度）: 54.47975581249992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are increasingly deployed in collaborative settings, yet long-term interaction may give rise to undesirable coordination. We study the emergence of collusion in a long-horizon multi-agent environment: two agents repeatedly complete individual tasks, share task logs, verify each other's work, and receive rewards. We introduce realistic constraints under which higher reward is attainable only by violating the verification protocol, and find that agents increasingly deviate from the protocol over repeated interactions. Collusion emerges in 94% of trajectories across 10 models, and more capable models within the same family reach it earlier. Controlled peer interventions show that collusion is shaped by peer behavior, while ablations reveal additional effects of the verification feedback agents receive, their interaction history, and the reward structure. In particular, restricting the amount and scope of interaction history available to agents reduces collusion. Overall, our findings show that long-horizon interaction can reshape how agents coordinate in ways that create safety risks.
• Abstract（参考訳）: LLMエージェントはますます協調的に展開されるが、長期的な相互作用は望ましくない調整を引き起こす可能性がある。 2つのエージェントが個別のタスクを繰り返し完了し、タスクログを共有し、互いの作業を確認し、報酬を受け取る。 検証プロトコルに違反することでのみ高い報酬が達成できる現実的な制約を導入し、エージェントが繰り返しのインタラクションよりもプロトコルから逸脱することを見つけます。 衝突は10モデルにわたる軌道の94%で発生し、同じファミリー内のより有能なモデルがそれより早く到達する。 制御されたピア介入は、衝突はピアの行動によって形成されることを示す一方、アブレーションは検証フィードバックエージェントが受ける影響、相互作用履歴、報酬構造を付加することを示している。 特に、エージェントに利用可能な相互作用履歴の量と範囲を制限することは、衝突を減少させる。 全体としては、長期的な相互作用は、安全リスクを生み出す方法でエージェントのコーディネートを再構築できることが示されています。

関連論文リスト

• SynAgent: Generalizable Cooperative Humanoid Manipulation via Solo-to-Cooperative Agent Synergy [59.86199649493784]
  制御可能な協調的ヒューマノイド操作は、インボディードインテリジェンスにとって根本的な問題である。 スケーラブルで物理的に妥当な協調操作を可能にするフレームワークであるSynAgentを提案する。 実験では、SynAgentは協調模倣と軌道条件制御の両方において既存のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-04-20T17:46:20Z)
• PAC-BENCH: Evaluating Multi-Agent Collaboration under Privacy Constraints [21.271347051487982]
  プライバシー制約下でのマルチエージェント協調評価のためのベンチマークを提案する。 PaCtext-Bench$の実験は、プライバシの制約がコラボレーションのパフォーマンスを著しく低下させることを示している。 この劣化は、早期のプライバシー侵害、過度に保守的な抽象化、プライバシによって引き起こされる幻覚など、調整が繰り返されることによって引き起こされる。
  論文  参考訳（メタデータ） (2026-04-13T14:26:38Z)
• DIG to Heal: Scaling General-purpose Agent Collaboration via Explainable Dynamic Decision Paths [29.11412449913759]
  本研究では,汎用大規模言語モデル (LLM) エージェントで構成されるマルチエージェントシステムについて検討する。 エージェントアクティベーションとインタラクションの因果ネットワークとして,創発的コラボレーションを捉えた動的インタラクショングラフ(DIG)を導入する。
  論文  参考訳（メタデータ） (2026-02-27T20:59:37Z)
• Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems [55.51100373104311]
  マルチエージェント設定におけるLLMエージェントの協調動作を監査するためのフレームワークであるColosseumを提案する。 コロッセウムは、異なる目的、説得戦術、ネットワークトポロジの下で、それぞれのLSMを照合するためにテストする。 我々は、エージェントがテキストでコラージュするが、しばしば非コラージュ的な行動を選ぶときに、論文上での「共謀」を発見する。
  論文  参考訳（メタデータ） (2026-02-16T21:27:38Z)
• InterAgent: Physics-based Multi-agent Command Execution via Diffusion on Interaction Graphs [72.5651722107621]
  InterAgentはテキスト駆動型物理ベースのマルチエージェントヒューマノイド制御のためのエンドツーエンドフレームワークである。 本稿では,マルチストリームブロックを備えた自己回帰拡散トランスフォーマーを提案する。 また,空間依存性の微粒化を明示的に捉えた対話グラフのエクスセプション表現を提案する。
  論文  参考訳（メタデータ） (2025-12-08T10:46:01Z)
• Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
  本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。 WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-09T18:35:08Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。