論文の概要: Opponent Shaping in LLM Agents

• arxiv url: http://arxiv.org/abs/2510.08255v1
• Date: Thu, 09 Oct 2025 14:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.118029
• Title: Opponent Shaping in LLM Agents
• Title（参考訳）: LLM剤の対向成形
• Authors: Marta Emili Garcia Segura, Stephen Hailes, Mirco Musolesi,
• Abstract要約: 本稿では,Large Language Models (LLM) を用いた対戦型シェーピング (OS) の最初の検討について述べる。 ShapeLLM を用いて,LLM エージェントが多種多様なゲーム理論環境における協調プレイヤの学習力学に影響を及ぼすかどうかを検討する。 以上の結果から, LLM エージェントは相互作用によって形状と形状を両立できることが明らかとなり, 多エージェント LLM 研究の鍵となる次元として対向型整形が確立された。
• 参考スコア（独自算出の注目度）: 9.180524457769751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly being deployed as autonomous agents in real-world environments. As these deployments scale, multi-agent interactions become inevitable, making it essential to understand strategic behavior in such systems. A central open question is whether LLM agents, like reinforcement learning agents, can shape the learning dynamics and influence the behavior of others through interaction alone. In this paper, we present the first investigation of opponent shaping (OS) with LLM-based agents. Existing OS algorithms cannot be directly applied to LLMs, as they require higher-order derivatives, face scalability constraints, or depend on architectural components that are absent in transformers. To address this gap, we introduce ShapeLLM, an adaptation of model-free OS methods tailored for transformer-based agents. Using ShapeLLM, we examine whether LLM agents can influence co-players' learning dynamics across diverse game-theoretic environments. We demonstrate that LLM agents can successfully guide opponents toward exploitable equilibria in competitive games (Iterated Prisoner's Dilemma, Matching Pennies, and Chicken) and promote coordination and improve collective welfare in cooperative games (Iterated Stag Hunt and a cooperative version of the Prisoner's Dilemma). Our findings show that LLM agents can both shape and be shaped through interaction, establishing opponent shaping as a key dimension of multi-agent LLM research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現実の環境で自律的なエージェントとして展開されつつある。 これらの展開がスケールするにつれて、マルチエージェントの相互作用は避けられないものとなり、そのようなシステムにおける戦略的振る舞いを理解することが不可欠となる。 LLMエージェントは、強化学習エージェントと同様に、学習のダイナミクスを形作って、相互作用だけで他人の行動に影響を及ぼすことができるのか、という大きな疑問がある。 本稿では,LSMをベースとしたエージェントを用いた対戦型シェーピング(OS)の最初の研究について述べる。 既存のOSアルゴリズムは、高階デリバティブ、スケーラビリティの制約に直面したり、トランスフォーマーに欠けているアーキテクチャコンポーネントに依存するため、LSMに直接適用することはできない。 このギャップに対処するために、トランスフォーマーベースのエージェントに適したモデルフリーOSメソッドであるShapeLLMを導入する。 ShapeLLM を用いて,LLM エージェントが多種多様なゲーム理論環境における協調プレイヤの学習力学に影響を及ぼすかどうかを検討する。 我々は, LLMエージェントが, 競争ゲーム(Iterated Prisoner's Dilemma, Matching Pennies, Chicken)において, 悪用可能な均衡に向けて, 競争ゲーム(Iterated Prisoner's Dilemma, Matching Pennies, Chicken)における協調の促進と, 協調ゲーム(Iterated Stag Hunt, aoperative version of the Prisoner's Dilemma)における集団福祉の改善に成功していることを示す。 以上の結果から, LLM エージェントは相互作用によって形状と形状を両立できることが明らかとなり, 多エージェント LLM 研究の鍵となる次元として対向型整形が確立された。

関連論文リスト

• Corrupted by Reasoning: Reasoning Language Models Become Free-Riders in Public Goods Games [87.5673042805229]
  大規模言語モデルは、アライメント、堅牢性、安全なデプロイメントを保証する上で、いかに自己関心と集合的幸福のバランスをとるかが重要な課題である。 我々は、行動経済学から制度的に選択した公共財ゲームに適応し、異なるLLMがいかに社会的ジレンマをナビゲートするかを観察することができる。 意外なことに、o1シリーズのようなLCMの推論は、協調にかなり苦労している。
  論文  参考訳（メタデータ） (2025-06-29T15:02:47Z)
• Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
  LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。 誤差ステップの反射や補正を含む自己反射軌道を合成する。 実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:11:12Z)
• Can LLMs Understand Social Norms in Autonomous Driving Games? [13.379617052828353]
  社会規範は、社会において許容される行動の共有標準として定義される。 本稿では,自律走行ゲームにおける社会規範の理解とモデル化におけるLLMの適用について検討する。
  論文  参考訳（メタデータ） (2024-08-22T18:39:00Z)
• Challenges Faced by Large Language Models in Solving Multi-Agent Flocking [17.081075782529098]
  フラッキング(Flocking)とは、システム内の複数のエージェントが衝突を避け、望ましい形成を維持しながら互いに近づこうとする行動である。 近年,大規模言語モデル (LLM) は,個々の意思決定者として様々な協調課題を解くという印象的な能力を示している。 本稿では,マルチエージェント・フロッキングにおいてLLMが直面する課題について論じ,今後の改善分野を提案する。
  論文  参考訳（メタデータ） (2024-04-06T22:34:07Z)
• ALYMPICS: LLM Agents Meet Game Theory -- Exploring Strategic Decision-Making with AI Agents [77.34720446306419]
  Alympicsは、ゲーム理論の研究にLarge Language Model (LLM)エージェントを利用する、体系的なシミュレーションフレームワークである。 Alympicsは、複雑なゲーム理論の問題を研究するための汎用的なプラットフォームを作成する。
  論文  参考訳（メタデータ） (2023-11-06T16:03:46Z)
• LLM-Based Agent Society Investigation: Collaboration and Confrontation in Avalon Gameplay [55.12945794835791]
  Avalon をテストベッドとして使用し,システムプロンプトを用いてゲームプレイにおける LLM エージェントの誘導を行う。 本稿では,Avalonに適した新しいフレームワークを提案し,効率的なコミュニケーションと対話を容易にするマルチエージェントシステムを提案する。 その結果、適応エージェントの作成におけるフレームワークの有効性を確認し、動的社会的相互作用をナビゲートするLLMベースのエージェントの可能性を提案する。
  論文  参考訳（メタデータ） (2023-10-23T14:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。