Fugu-MT 論文翻訳(概要): Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas

論文の概要: Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas

arxiv url: http://arxiv.org/abs/2603.19453v1
Date: Thu, 19 Mar 2026 20:27:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-23 19:48:38.868236
Title: Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas
Title（参考訳）: 逐次社会的ジレンマのためのLCM政策合成における協調と爆発
Authors: Víctor Gallego,
Abstract要約: 大規模言語モデルを用いて,マルチエージェント環境に対するエージェントポリシーを反復的に生成する。強化学習を通じて神経政策を訓練する代わりに、我々のフレームワークはLLMにPythonポリシー関数を生成するよう促す。疎度フィードバック(スカラー報酬のみ)と密度フィードバック(リワード+社会的指標:効率、平等、持続可能性、平和)を比較します。
参考スコア（独自算出の注目度）: 6.599344783327054
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study LLM policy synthesis: using a large language model to iteratively generate programmatic agent policies for multi-agent environments. Rather than training neural policies via reinforcement learning, our framework prompts an LLM to produce Python policy functions, evaluates them in self-play, and refines them using performance feedback across iterations. We investigate feedback engineering (the design of what evaluation information is shown to the LLM during refinement) comparing sparse feedback (scalar reward only) against dense feedback (reward plus social metrics: efficiency, equality, sustainability, peace). Across two canonical Sequential Social Dilemmas (Gathering and Cleanup) and two frontier LLMs (Claude Sonnet 4.6, Gemini 3.1 Pro), dense feedback consistently matches or exceeds sparse feedback on all metrics. The advantage is largest in the Cleanup public goods game, where providing social metrics helps the LLM calibrate the costly cleaning-harvesting tradeoff. Rather than triggering over-optimization of fairness, social metrics serve as a coordination signal that guides the LLM toward more effective cooperative strategies, including territory partitioning, adaptive role assignment, and the avoidance of wasteful aggression. We further perform an adversarial experiment to determine whether LLMs can reward hack these environments. We characterize five attack classes and discuss mitigations, highlighting an inherent tension in LLM policy synthesis between expressiveness and safety. Code at https://github.com/vicgalle/llm-policies-social-dilemmas.
Abstract（参考訳）: 大規模言語モデルを用いて,マルチエージェント環境におけるプログラムエージェントポリシーを反復的に生成する。我々のフレームワークは、強化学習によるニューラルネットワークポリシーのトレーニングではなく、LLMにPythonポリシー関数の生成を促し、それらを自己プレイで評価し、イテレーション間でパフォーマンスフィードバックを使用して洗練する。本研究では、疎度フィードバック(スカラー報酬のみ)と密度フィードバック(リワード+社会的指標:効率、平等、持続可能性、平和)を比較し、フィードバックエンジニアリング(リファインメント中のLCMにどのような評価情報が表示されるかの設計)について検討する。 2つの標準的なシークエンシャル・ソーシャル・ジレンマ(ギャザリングとクリーンアップ)と2つのフロンティア・LSM(Claude Sonnet 4.6, Gemini 3.1 Pro)にまたがって、密集したフィードバックは、すべてのメトリクスに対して常に一致または疎らなフィードバックを超える。この利点はクリーンアップの公共グッズゲームで最大であり、社会的指標を提供することでLLMは高価なクリーニング・ハーヴェスティングのトレードオフを調整できる。フェアネスの過度な最適化を引き起こすのではなく、社会的メトリクスは、LLMが領域分割、適応的な役割割り当て、無駄な攻撃の回避など、より効果的な協力戦略へと導く協調信号として機能する。我々はさらに、LLMがこれらの環境へのハッキングに報いることができるかどうかを決定するために、敵対的な実験を行う。我々は、5つの攻撃クラスを特徴づけ、緩和について議論し、表現性と安全性のLLMポリシー合成における本質的な緊張を浮き彫りにする。コードネームはhttps://github.com/vicgalle/llm-policies-social-dilemmas。

論文の概要: Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas

関連論文リスト