論文の概要: Diffusion Actor-Critic: Formulating Constrained Policy Iteration as Diffusion Noise Regression for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.20555v3
• Date: Tue, 25 Feb 2025 06:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:10.595245
• Title: Diffusion Actor-Critic: Formulating Constrained Policy Iteration as Diffusion Noise Regression for Offline Reinforcement Learning
• Title（参考訳）: 拡散アクター批判:オフライン強化学習のための拡散雑音回帰としての制約付きポリシー反復の定式化
• Authors: Linjiajie Fang, Ruoxue Liu, Jing Zhang, Wenjia Wang, Bing-Yi Jing,
• Abstract要約: オフラインの強化学習では、価値関数の過大評価を防ぐために、配布外動作を管理する必要がある。 拡散雑音回帰問題としてクルバック・リブラー (KL) 制約ポリシーの繰り返しを定式化する拡散アクタ・クリティカル (DAC) を提案する。 提案手法はD4RLベンチマークで評価され,ほぼすべての環境において最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 13.163511229897667
• License:
• Abstract: In offline reinforcement learning, it is necessary to manage out-of-distribution actions to prevent overestimation of value functions. One class of methods, the policy-regularized method, addresses this problem by constraining the target policy to stay close to the behavior policy. Although several approaches suggest representing the behavior policy as an expressive diffusion model to boost performance, it remains unclear how to regularize the target policy given a diffusion-modeled behavior sampler. In this paper, we propose Diffusion Actor-Critic (DAC) that formulates the Kullback-Leibler (KL) constraint policy iteration as a diffusion noise regression problem, enabling direct representation of target policies as diffusion models. Our approach follows the actor-critic learning paradigm in which we alternatively train a diffusion-modeled target policy and a critic network. The actor training loss includes a soft Q-guidance term from the Q-gradient. The soft Q-guidance is based on the theoretical solution of the KL constraint policy iteration, which prevents the learned policy from taking out-of-distribution actions. We demonstrate that such diffusion-based policy constraint, along with the coupling of the lower confidence bound of the Q-ensemble as value targets, not only preserves the multi-modality of target policies, but also contributes to stable convergence and strong performance in DAC. Our approach is evaluated on D4RL benchmarks and outperforms the state-of-the-art in nearly all environments. Code is available at https://github.com/Fang-Lin93/DAC.
• Abstract（参考訳）: オフラインの強化学習では、価値関数の過大評価を防ぐために、配布外動作を管理する必要がある。 ポリシー規則化手法(ポリシー規則化法)の1つのクラスは、行動ポリシーに近づき続けるように対象のポリシーを制約することでこの問題に対処する。 性能向上のための表現的拡散モデルとして振舞いの表現法がいくつか提案されているが, 拡散モデルを用いた振舞いサンプルを用いた場合, 対象の振舞いの調整方法については定かではない。 本稿では,拡散雑音回帰問題としてKullback-Leibler(KL)制約ポリシー反復を定式化し,拡散モデルとしてターゲットポリシーの直接表現を可能にする拡散アクタ・クリティカル(DAC)を提案する。 我々のアプローチは、拡散モデルに基づくターゲットポリシーと批判的ネットワークを訓練するアクター・批判的学習パラダイムに従う。 アクター訓練損失は、Q段階からのソフトQガイダンス項を含む。 ソフトQ-ガイダンスは、KL制約ポリシー反復の理論解に基づいており、学習されたポリシーが分配アクションを取らないようにする。 このような拡散型政策制約は、Qアンサンブルの低信頼境界を値ターゲットとして結合すると共に、ターゲットポリシーの多重モード性を保持するだけでなく、DACの安定収束と強い性能にも寄与することを示す。 提案手法はD4RLベンチマークで評価され,ほぼすべての環境において最先端の手法よりも優れている。 コードはhttps://github.com/Fang-Lin93/DACで入手できる。

関連論文リスト

• Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning [22.333460316347264]
  本稿では,拡散型ポリシーに適した行動規則化RLフレームワークであるBDPOを紹介する。 我々は,行動制約を尊重しながら最適なポリシーを生成する,効率的な2時間スケールアクタークリティカルなRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-02-07T09:30:35Z)
• Constrained Latent Action Policies for Model-Based Offline Reinforcement Learning [5.012314384895537]
  オフラインの強化学習では、環境からの高価なフィードバックがなければ、静的なデータセットを使ってポリシーが学習される。 我々は,観察と行動の連関分布の生成モデルを学習する制約付き潜在行動ポリシー(C-LAP)を提案する。
  論文  参考訳（メタデータ） (2024-11-07T09:35:22Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Learning a Diffusion Model Policy from Rewards via Q-Score Matching [93.0191910132874]
  本稿では,拡散モデルポリシの構造を学習されたQ-関数に関連付ける理論的枠組みを提案する。 本稿では,この理論からQスコアマッチングを示す新しいポリシー更新手法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T23:31:01Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• Policy Representation via Diffusion Probability Model for Reinforcement Learning [67.56363353547775]
  拡散確率モデルを用いて政策表現の理論的基礎を構築する。 本稿では,拡散政策の多様性を理解するための理論を提供する,拡散政策の収束保証について述べる。 本研究では,Diffusion POlicyを用いたモデルフリーオンラインRLの実装であるDIPOを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:23:41Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。