論文の概要: Learning Robust Social Strategies with Large Language Models

• arxiv url: http://arxiv.org/abs/2511.19405v2
• Date: Mon, 01 Dec 2025 16:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 15:37:38.240073
• Title: Learning Robust Social Strategies with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたロバストな社会戦略の学習
• Authors: Dereck Piche, Mohammed Muqeeth, Milad Aghajohari, Juan Duque, Michael Noukhovitch, Aaron Courville,
• Abstract要約: 強化学習は,大規模言語モデル(LLM)を単一エージェント体制で整列させるのに有効である。 マルチエージェント設定における標準RLは、しばしば欠陥のある自己関心のポリシーに収束することを示す。 RLが不均衡に収束する傾向に対処するため、近年の対向学習認識アルゴリズムAdvantage Alignmentを適用した。
• 参考スコア（独自算出の注目度）: 7.697496386429445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As agentic AI becomes more widespread, agents with distinct and possibly conflicting goals will interact in complex ways. These multi-agent interactions pose a fundamental challenge, particularly in social dilemmas, where agents' individual incentives can undermine collective welfare. While reinforcement learning (RL) has been effective for aligning large language models (LLMs) in the single-agent regime, prior small-network results suggest that standard RL in multi-agent settings often converges to defecting, self-interested policies. We show the same effect in LLMs: despite cooperative priors, RL-trained LLM agents develop opportunistic behavior that can exploit even advanced closed-source models. To address this tendency of RL to converge to poor equilibria, we adapt a recent opponent-learning awareness algorithm, Advantage Alignment, to fine-tune LLMs toward multi-agent cooperation and non-exploitability. We then introduce a group-relative baseline that simplifies advantage computation in iterated games, enabling multi-agent training at LLM scale. We also contribute a novel social dilemma environment, Trust-and-Split, which requires natural language communication to achieve high collective welfare. Across a wide range of social dilemmas, policies learned with Advantage Alignment achieve higher collective payoffs while remaining robust against exploitation by greedy agents. We release all of our code to support future work on multi-agent RL training for LLMs.
• Abstract（参考訳）: エージェントAIがより広く普及するにつれ、異なる、おそらく矛盾する目標を持つエージェントが複雑な方法で対話するようになる。 これらのマルチエージェント相互作用は、特に社会的ジレンマにおいて、エージェントの個人的インセンティブが集団福祉を損なうという根本的な課題を引き起こす。 強化学習(RL)は単一エージェントシステムにおける大規模言語モデル(LLM)の整合化に有効であるが,従来,マルチエージェント環境における標準RLは,欠陥のある自己関心のポリシに収束することが多かった。 協調的先行性にもかかわらず、RLを訓練したLLMエージェントは、さらに高度なクローズドソースモデルを利用する機会論的挙動を発達させる。 この傾向に対処するため、近年の対向学習認識アルゴリズムAdvantage Alignment(アドバンテージアライメント)を、マルチエージェント協調と非探索性(non-exploitability)に向けて微調整LDMに適用する。 次に、繰り返しゲームにおいて有利な計算を単純化し、LLMスケールでのマルチエージェントトレーニングを可能にするグループ相対ベースラインを導入する。 我々はまた、高い集団福祉を達成するために自然言語通信を必要とする新しい社会的ジレンマ環境であるTrust-and-Splitにも貢献する。 幅広い社会的ジレンマの中で、アドバンテージ・アライメント(Advantage Alignment)で学んだ政策は、強欲なエージェントによる搾取に対して堅牢なまま、より高い集団的な報酬を得られる。 LLMのためのマルチエージェントRLトレーニングに関する今後の作業をサポートするため、私たちはすべてのコードをリリースしています。

関連論文リスト

• CoMAS: Co-Evolving Multi-Agent Systems via Interaction Rewards [80.78748457530718]
  自己進化(Self-evolution)は、大規模言語モデル(LLM)ベースのエージェントが事前トレーニング後の能力を継続的に改善できるようにする上で、中心的な研究トピックである。 エージェントがエージェント間相互作用から学習することで自律的に改善できる新しいフレームワークであるCo-Evolving Multi-Agent Systems (CoMAS)を紹介する。
  論文  参考訳（メタデータ） (2025-10-09T17:50:26Z)
• Opponent Shaping in LLM Agents [9.180524457769751]
  本稿では,Large Language Models (LLM) を用いた対戦型シェーピング (OS) の最初の検討について述べる。 ShapeLLM を用いて,LLM エージェントが多種多様なゲーム理論環境における協調プレイヤの学習力学に影響を及ぼすかどうかを検討する。 以上の結果から, LLM エージェントは相互作用によって形状と形状を両立できることが明らかとなり, 多エージェント LLM 研究の鍵となる次元として対向型整形が確立された。
  論文  参考訳（メタデータ） (2025-10-09T14:13:24Z)
• AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning [129.44038804430542]
  本稿では,マルチターン対話型意思決定のためのLLMエージェントをRLで学習する新しいフレームワークであるAgentGym-RLを紹介する。 本研究では,探索-探索バランスと安定したRL最適化のためのトレーニング手法であるScalingInter-RLを提案する。 当社のエージェントは、さまざまな環境にまたがる27のタスクで、商用モデルにマッチするか、超えています。
  論文  参考訳（メタデータ） (2025-09-10T16:46:11Z)
• Corrupted by Reasoning: Reasoning Language Models Become Free-Riders in Public Goods Games [87.5673042805229]
  大規模言語モデルは、アライメント、堅牢性、安全なデプロイメントを保証する上で、いかに自己関心と集合的幸福のバランスをとるかが重要な課題である。 我々は、行動経済学から制度的に選択した公共財ゲームに適応し、異なるLLMがいかに社会的ジレンマをナビゲートするかを観察することができる。 意外なことに、o1シリーズのようなLCMの推論は、協調にかなり苦労している。
  論文  参考訳（メタデータ） (2025-06-29T15:02:47Z)
• Cultural Evolution of Cooperation among LLM Agents [1.4261864659766343]
  我々は,AIエージェントの「社会的」が,欠陥に対するインセンティブに直面して相互に有益な社会的規範を学習できるかどうかを検討する。 協調の進化は基本モデルによって著しく異なることが判明した。
  論文  参考訳（メタデータ） (2024-12-13T16:45:49Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Group-Agent Reinforcement Learning [12.915860504511523]
  複数の地理的に分散したエージェントがそれぞれのRLタスクを協調的に実行すれば、各エージェントの強化学習プロセスに大きく貢献できる。 グループエージェント強化学習(GARL)のための分散RLフレームワークDDAL(Decentralized Distributed Asynchronous Learning)を提案する。
  論文  参考訳（メタデータ） (2022-02-10T16:40:59Z)
• Emergent Social Learning via Multi-agent Reinforcement Learning [91.57176641192771]
  社会学習は、人間と動物の知性の重要な構成要素である。 本稿では,独立系強化学習エージェントが,社会的学習を用いてパフォーマンスを向上させることを学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2020-10-01T17:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。