論文の概要: Learning Policy Representations for Steerable Behavior Synthesis

• arxiv url: http://arxiv.org/abs/2601.22350v1
• Date: Thu, 29 Jan 2026 21:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.084716
• Title: Learning Policy Representations for Steerable Behavior Synthesis
• Title（参考訳）: ステアブルな行動合成のための学習ポリシー表現
• Authors: Beiming Li, Sergio Rozada, Alejandro Ribeiro,
• Abstract要約: マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
• 参考スコア（独自算出の注目度）: 80.4542176039074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a Markov decision process (MDP), we seek to learn representations for a range of policies to facilitate behavior steering at test time. As policies of an MDP are uniquely determined by their occupancy measures, we propose modeling policy representations as expectations of state-action feature maps with respect to occupancy measures. We show that these representations can be approximated uniformly for a range of policies using a set-based architecture. Our model encodes a set of state-action samples into a latent embedding, from which we decode both the policy and its value functions corresponding to multiple rewards. We use variational generative approach to induce a smooth latent space, and further shape it with contrastive learning so that latent distances align with differences in value functions. This geometry permits gradient-based optimization directly in the latent space. Leveraging this capability, we solve a novel behavior synthesis task, where policies are steered to satisfy previously unseen value function constraints without additional training.
• Abstract（参考訳）: マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 MDPの政策は、その占有対策によって一意に決定されるため、我々は、占有対策に関する状態対応特徴マップの期待として、政策表現をモデル化することを提案する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 我々のモデルは、状態-作用サンプルの集合を潜在埋め込みにエンコードし、そこからポリシーとその値関数を複数の報酬に対応するデコードする。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。 この幾何学は、勾配に基づく最適化を潜在空間で直接行うことができる。 この能力を生かして、我々は新しい行動合成タスクを解く。そこでは、追加のトレーニングなしで、以前は目に見えない値関数の制約を満たすようにポリシーを定めている。

関連論文リスト

• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability [2.180257135067774]
  モデルベース強化学習(RL)のための政策段階的手法を提案する。 ネットワークにおけるマルコフ決定過程(MDP)から得られる定常分布のタイプを利用する。 我々は,SAGEに基づく政策段階が局所的に収束していることを示し,その後悔を得る。
  論文  参考訳（メタデータ） (2023-12-05T14:44:58Z)
• Policy Gradient Methods in the Presence of Symmetries and State Abstractions [46.66541516203923]
  高次元および複雑な問題に対する強化学習(RL)は、効率と一般化を改善するための抽象化に依存している。 連続制御設定における抽象化を研究し、マルコフ決定過程(MDP)の準同型の定義を連続状態と作用空間の設定に拡張する。 本稿では,政策とMDP準同型写像を同時に学習できるアクター批判アルゴリズムのファミリーを提案する。
  論文  参考訳（メタデータ） (2023-05-09T17:59:10Z)
• Policy Dispersion in Non-Markovian Environment [53.05904889617441]
  本稿では,非マルコフ環境下での国家行動ペアの歴史から,多様な政策の学習を試みる。 まず、ポリシー埋め込みを学習するために、トランスフォーマーベースの手法を採用する。 次に,政策埋め込みを積み重ねて分散行列を構築し,多様な政策の集合を誘導する。
  論文  参考訳（メタデータ） (2023-02-28T11:58:39Z)
• Continuous MDP Homomorphisms and Homomorphic Policy Gradient [51.25171126424949]
  MDP準同型の定義を拡張し、連続状態空間における連続的な作用を包含する。 本稿では,政策とMDP準同型写像を同時に学習できるアクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-15T15:26:49Z)
• Policy Gradient and Actor-Critic Learning in Continuous Time and Space: Theory and Algorithms [1.776746672434207]
  連続時間と空間における強化学習のための政策勾配(PG)について検討する。 本稿では,RLに対するアクタ批判アルゴリズムの2つのタイプを提案し,同時に値関数とポリシーを学習し,更新する。
  論文  参考訳（メタデータ） (2021-11-22T14:27:04Z)
• Towards Robust Bisimulation Metric Learning [3.42658286826597]
  ビシミュレーションメトリクスは、表現学習問題に対する一つの解決策を提供する。 非最適ポリシーへのオン・ポリティクス・バイシミュレーション・メトリクスの値関数近似境界を一般化する。 これらの問題は、制約の少ない力学モデルと、報酬信号への埋め込みノルムの不安定な依存に起因する。
  論文  参考訳（メタデータ） (2021-10-27T00:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。