論文の概要: Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas

• arxiv url: http://arxiv.org/abs/2603.19453v1
• Date: Thu, 19 Mar 2026 20:27:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.868236
• Title: Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas
• Title（参考訳）: 逐次社会的ジレンマのためのLCM政策合成における協調と爆発
• Abstract要約: 大規模言語モデルを用いて,マルチエージェント環境に対するエージェントポリシーを反復的に生成する。 強化学習を通じて神経政策を訓練する代わりに、我々のフレームワークはLLMにPythonポリシー関数を生成するよう促す。 疎度フィードバック(スカラー報酬のみ)と密度フィードバック(リワード+社会的指標:効率、平等、持続可能性、平和)を比較します。
• 参考スコア（独自算出の注目度）: 6.599344783327054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study LLM policy synthesis: using a large language model to iteratively generate programmatic agent policies for multi-agent environments. Rather than training neural policies via reinforcement learning, our framework prompts an LLM to produce Python policy functions, evaluates them in self-play, and refines them using performance feedback across iterations. We investigate feedback engineering (the design of what evaluation information is shown to the LLM during refinement) comparing sparse feedback (scalar reward only) against dense feedback (reward plus social metrics: efficiency, equality, sustainability, peace). Across two canonical Sequential Social Dilemmas (Gathering and Cleanup) and two frontier LLMs (Claude Sonnet 4.6, Gemini 3.1 Pro), dense feedback consistently matches or exceeds sparse feedback on all metrics. The advantage is largest in the Cleanup public goods game, where providing social metrics helps the LLM calibrate the costly cleaning-harvesting tradeoff. Rather than triggering over-optimization of fairness, social metrics serve as a coordination signal that guides the LLM toward more effective cooperative strategies, including territory partitioning, adaptive role assignment, and the avoidance of wasteful aggression. We further perform an adversarial experiment to determine whether LLMs can reward hack these environments. We characterize five attack classes and discuss mitigations, highlighting an inherent tension in LLM policy synthesis between expressiveness and safety. Code at https://github.com/vicgalle/llm-policies-social-dilemmas.
• Abstract（参考訳）: 大規模言語モデルを用いて,マルチエージェント環境におけるプログラムエージェントポリシーを反復的に生成する。 我々のフレームワークは、強化学習によるニューラルネットワークポリシーのトレーニングではなく、LLMにPythonポリシー関数の生成を促し、それらを自己プレイで評価し、イテレーション間でパフォーマンスフィードバックを使用して洗練する。 本研究では、疎度フィードバック(スカラー報酬のみ)と密度フィードバック(リワード+社会的指標:効率、平等、持続可能性、平和)を比較し、フィードバックエンジニアリング(リファインメント中のLCMにどのような評価情報が表示されるかの設計)について検討する。 2つの標準的なシークエンシャル・ソーシャル・ジレンマ(ギャザリングとクリーンアップ)と2つのフロンティア・LSM(Claude Sonnet 4.6, Gemini 3.1 Pro)にまたがって、密集したフィードバックは、すべてのメトリクスに対して常に一致または疎らなフィードバックを超える。 この利点はクリーンアップの公共グッズゲームで最大であり、社会的指標を提供することでLLMは高価なクリーニング・ハーヴェスティングのトレードオフを調整できる。 フェアネスの過度な最適化を引き起こすのではなく、社会的メトリクスは、LLMが領域分割、適応的な役割割り当て、無駄な攻撃の回避など、より効果的な協力戦略へと導く協調信号として機能する。 我々はさらに、LLMがこれらの環境へのハッキングに報いることができるかどうかを決定するために、敵対的な実験を行う。 我々は、5つの攻撃クラスを特徴づけ、緩和について議論し、表現性と安全性のLLMポリシー合成における本質的な緊張を浮き彫りにする。 コードネームはhttps://github.com/vicgalle/llm-policies-social-dilemmas。

関連論文リスト

• Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents [0.0]
  我々は,LLMプランナとRLコントローラのハイブリッドアーキテクチャをゴール拡張マルコフ決定プロセスとして定式化する。 状態ごとの進捗スコアを有界ポテンシャル関数として用いた場合, LLMのスコアが不正確な場合でも, 結果の整形項が最適方針を保っていることを示す。
  論文  参考訳（メタデータ） (2026-08-18T16:55:46Z)
• Natural Language Actor-Critic: Scalable Off-Policy Learning in Language Space [57.868527884634894]
  自然言語アクター・クライブ(英: Natural Language Actor-Critic)は、スカラー値ではなく自然言語を用いてポリシーを訓練する新しいアクター批判アルゴリズムである。 NLACが既存のトレーニング手法より優れていることを示すために、推論、Webブラウジング、ツールユースを対話タスクと組み合わせた結果を示す。
  論文  参考訳（メタデータ） (2025-12-04T09:21:44Z)
• A word association network methodology for evaluating implicit biases in LLMs compared to humans [0.0]
  大規模言語モデル(LLM)における暗黙バイアス評価のための新しい単語関連ネットワーク手法を提案する。 提案手法では,LLMに符号化された暗黙的関係構造を解析し,バイアスの定量的および定性的評価を行う。 提案手法の有用性を実証するために, 性別, 宗教, 民族性, 性的指向, 政党に関連する社会的偏見を調べるために, 人間と多用されたLLMの両方に適用した。
  論文  参考訳（メタデータ） (2025-10-28T15:03:18Z)
• Corrupted by Reasoning: Reasoning Language Models Become Free-Riders in Public Goods Games [87.5673042805229]
  大規模言語モデルは、アライメント、堅牢性、安全なデプロイメントを保証する上で、いかに自己関心と集合的幸福のバランスをとるかが重要な課題である。 我々は、行動経済学から制度的に選択した公共財ゲームに適応し、異なるLLMがいかに社会的ジレンマをナビゲートするかを観察することができる。 意外なことに、o1シリーズのようなLCMの推論は、協調にかなり苦労している。
  論文  参考訳（メタデータ） (2025-06-29T15:02:47Z)
• ShiQ: Bringing back Bellman to LLMs [37.70964838115103]
  実装が簡単でありながら、非政治的でトークンに関する学習をサポートする実用的なアルゴリズムである ShiQ for Shifted-Q を構築します。 合成データと実世界のベンチマーク(UltraFeedbackやBFCL-V3など)でShiQを評価し、シングルターンLLMとマルチターンLLMの両方での有効性を実証した。
  論文  参考訳（メタデータ） (2025-05-16T10:12:11Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Nash Learning from Human Feedback [86.09617990412941]
  ペアワイズフィードバックを用いた大規模言語モデルの微調整のための代替パイプラインを提案する。 我々はこのアプローチを人間のフィードバックからナッシュラーニング(NLHF)と呼ぶ。 ミラー降下原理に基づく新しいアルゴリズム解であるNash-MDを提案する。
  論文  参考訳（メタデータ） (2023-12-01T19:26:23Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。