論文の概要: Policy-Conditioned Policies for Multi-Agent Task Solving

• arxiv url: http://arxiv.org/abs/2512.21024v1
• Date: Wed, 24 Dec 2025 07:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.720556
• Title: Policy-Conditioned Policies for Multi-Agent Task Solving
• Title（参考訳）: マルチエージェント問題解決のための政策規定型政策
• Authors: Yue Lin, Shuhui Zhu, Wenhao Li, Ang Li, Dan Qiao, Pascal Poupart, Hongyuan Zha, Baoxiang Wang,
• Abstract要約: 本研究では,ポリシーを人間の解釈可能なソースコードとして表現することでギャップを埋めるパラダイムシフトを提案する。 本研究では,Large Language Models (LLM) を近似インタプリタとして利用することにより,学習問題を再構築する。 我々はこのプロセスを,ポリシーコードをテキスト勾配で最適化するアルゴリズムである TextitProgrammatic Iterated Best Response (PIBR) として定式化する。
• 参考スコア（独自算出の注目度）: 53.67744322553693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-agent tasks, the central challenge lies in the dynamic adaptation of strategies. However, directly conditioning on opponents' strategies is intractable in the prevalent deep reinforcement learning paradigm due to a fundamental ``representational bottleneck'': neural policies are opaque, high-dimensional parameter vectors that are incomprehensible to other agents. In this work, we propose a paradigm shift that bridges this gap by representing policies as human-interpretable source code and utilizing Large Language Models (LLMs) as approximate interpreters. This programmatic representation allows us to operationalize the game-theoretic concept of \textit{Program Equilibrium}. We reformulate the learning problem by utilizing LLMs to perform optimization directly in the space of programmatic policies. The LLM functions as a point-wise best-response operator that iteratively synthesizes and refines the ego agent's policy code to respond to the opponent's strategy. We formalize this process as \textit{Programmatic Iterated Best Response (PIBR)}, an algorithm where the policy code is optimized by textual gradients, using structured feedback derived from game utility and runtime unit tests. We demonstrate that this approach effectively solves several standard coordination matrix games and a cooperative Level-Based Foraging environment.
• Abstract（参考訳）: マルチエージェントタスクでは、戦略の動的適応が中心的な課題である。 しかしながら、相手の戦略を直接条件付けすることは、'representational bottleneck'' の基本的「表現的ボトルネック'' (representational bottleneck') による、一般的な深層強化学習パラダイムにおいて、難解である: ニューラルポリシーは不透明で、他のエージェントには理解できない高次元パラメータベクトルである。 本研究では,人間の解釈可能なソースコードとしてポリシーを表現し,Large Language Models (LLM) を近似インタプリタとして活用することにより,このギャップを埋めるパラダイムシフトを提案する。 このプログラム表現により、ゲーム理論の概念である \textit{Program Equilibrium} を操作できる。 LLMを利用して学習問題を再構築し、プログラムポリシーの空間で直接最適化を行う。 LLMは、相手の戦略に対応するために、エゴエージェントのポリシーコードを反復的に合成し洗練する、ポイントワイズ・ベストレスポンス演算子として機能する。 我々はこのプロセスを,ゲームユーティリティと実行単位テストから得られた構造化されたフィードバックを用いて,ポリシーコードをテキスト勾配で最適化するアルゴリズムである「textit{Programmatic Iterated Best Response (PIBR)」として定式化する。 提案手法は,複数の標準協調行列ゲームと協調型レベルベース鍛造環境を効果的に解決できることを実証する。

関連論文リスト

• Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
  マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
  論文  参考訳（メタデータ） (2026-01-29T21:52:06Z)
• Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions [31.697208397735395]
  既存のアプローチでは、タスク固有の値関数を制約付き最適化プログラムに組み込むか、決定論的構造化ポリシーを学習し、汎用性とポリシー表現性を犠牲にする。 本稿では, 設計による実現性を確保しつつ, 近代的な生成ポリシーの表現性をRLにもたらす, 解法による球面フローポリシーを提案する。 我々のアプローチは、さまざまな課題RLタスクにおいて、最先端のベースラインを平均20.6%上回る。
  論文  参考訳（メタデータ） (2026-01-29T18:49:07Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion [43.77763433288893]
  コントラストポリシーグラディエント(Contrastive Policy Gradient, COPG)は、単純かつ数学的に原理化された新しいRLアルゴリズムである。 本稿では,直接アライメント手法のIPO(アイデンティティ優先最適化)と古典的政策勾配を一般化する手法を提案する。 提案したCOPGをおもちゃのバンディット問題で実験し,その特性を説明するとともに,要約タスクでLLMを微調整する。
  論文  参考訳（メタデータ） (2024-06-27T14:03:49Z)
• Synthesizing Programmatic Policies with Actor-Critic Algorithms and ReLU Networks [20.2777559515384]
  PIRL(Programmaticly Interpretable Reinforcement Learning)は、人間が読めるコンピュータプログラムのポリシーを符号化する。 本稿では,プログラムポリシーを符号化する言語によって,PIRL固有のアルゴリズムは不要であることを示す。 我々は、ReLUニューラルネットワークと斜め決定木との接続を用いて、アクター批判アルゴリズムで学んだポリシーをプログラムポリシーに変換する。
  論文  参考訳（メタデータ） (2023-08-04T22:17:32Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Wasserstein Gradient Flows for Optimizing Gaussian Mixture Policies [0.0]
  ポリシー最適化は、タスク固有の目的の関数としてロボットポリシーを適用するための、事実上のパラダイムである。 本稿では,最適輸送問題として政策最適化を適用することで,確率的政策の構造を活用することを提案する。 我々は,ロボットの動作の到達,衝突回避行動,マルチゴールタスクなど,一般的なロボット設定に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-05-17T17:48:24Z)
• Multi-Task Off-Policy Learning from Bandit Feedback [54.96011624223482]
  本稿では,階層型非政治最適化アルゴリズム (HierOPO) を提案する。 学習方針の準最適性にタスクごとのバウンダリを証明し、階層モデルを使用しないよりも明確な改善を示す。 我々の理論的および実証的な結果は、各タスクを個別に解くよりも、階層を使うことの明確な利点を示している。
  論文  参考訳（メタデータ） (2022-12-09T08:26:27Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Composable Learning with Sparse Kernel Representations [110.19179439773578]
  再生カーネルヒルベルト空間におけるスパース非パラメトリック制御系を学習するための強化学習アルゴリズムを提案する。 正規化アドバンテージ関数を通じてステートアクション関数の構造を付与することにより、このアプローチのサンプル複雑さを改善します。 2次元環境下を走行しながらレーザースキャナーを搭載したロボットの複数シミュレーションにおける障害物回避政策の学習に関するアルゴリズムの性能を実証する。
  論文  参考訳（メタデータ） (2021-03-26T13:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。