論文の概要: Entropy-regularized Diffusion Policy with Q-Ensembles for Offline
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2402.04080v1
- Date: Tue, 6 Feb 2024 15:34:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:18:04.479868
- Title: Entropy-regularized Diffusion Policy with Q-Ensembles for Offline
Reinforcement Learning
- Title(参考訳): オフライン強化学習のためのQアンサンブルを用いたエントロピー規則化拡散政策
- Authors: Ruoqi Zhang, Ziwei Luo, Jens Sj\"olund, Thomas B. Sch\"on, Per
Mattsson
- Abstract要約: 本稿では,オフライン強化学習(RL)のための訓練拡散政策の高度技術について述べる。
我々は、SDEが、オフラインデータセットの探索を改善するエントロピー正則化器(Entropy regularizer)を生成することで、ポリシーのログ確率を計算するのに使用できるソリューションを持っていることを示す。
オフラインRLにおけるエントロピー正規化拡散ポリシーとQアンサンブルを組み合わせることで,D4RLベンチマークのほとんどのタスクにおける最先端性能を実現する。
- 参考スコア(独自算出の注目度): 2.793552920703256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents advanced techniques of training diffusion policies for
offline reinforcement learning (RL). At the core is a mean-reverting stochastic
differential equation (SDE) that transfers a complex action distribution into a
standard Gaussian and then samples actions conditioned on the environment state
with a corresponding reverse-time SDE, like a typical diffusion policy. We show
that such an SDE has a solution that we can use to calculate the log
probability of the policy, yielding an entropy regularizer that improves the
exploration of offline datasets. To mitigate the impact of inaccurate value
functions from out-of-distribution data points, we further propose to learn the
lower confidence bound of Q-ensembles for more robust policy improvement. By
combining the entropy-regularized diffusion policy with Q-ensembles in offline
RL, our method achieves state-of-the-art performance on most tasks in D4RL
benchmarks. Code is available at
\href{https://github.com/ruoqizzz/Entropy-Regularized-Diffusion-Policy-with-QEnsemble}{https://github.com/ruoqizzz/Entropy-Regularized-Diffusion-Policy-with-QEnsemble}.
- Abstract(参考訳): 本稿では,オフライン強化学習(rl)のための拡散ポリシーの訓練技術について述べる。
中心にある平均回帰確率微分方程式(SDE)は、複素作用分布を標準ガウスに変換し、典型的な拡散ポリシーのように、対応する逆時間SDEで環境状態に条件付けられた作用をサンプリングする。
このようなsdeには、ポリシーのログ確率を計算するために使用できるソリューションがあることを示し、オフラインデータセットの探索を改善するエントロピー正規化子を生成する。
また,不正確な値関数の影響を軽減するために,より堅牢な政策改善のために,Qアンサンブルの低信頼境界を学習することを提案する。
オフラインRLにおけるエントロピー正規化拡散ポリシーとQアンサンブルを組み合わせることで,D4RLベンチマークのほとんどのタスクにおける最先端性能を実現する。
コードは \href{https://github.com/ruoqizzz/Entropy-Regularized-Diffusion-Policy-with-QEnsemble}{https://github.com/ruoqizzz/Entropy-Regularized-Diffusion-with-QEnsemble} で公開されている。
関連論文リスト
- Stabilizing Policy Gradients for Stochastic Differential Equations via
Consistency with Perturbation Process [12.374297377958413]
我々は、ディープニューラルネットワークパラメータ化微分方程式(SDE)の最適化に焦点をあてる。
我々は、SDEが関連する摂動過程と整合するように制約することを提案する。
我々のフレームワークは、SDEを効果的かつ効率的に訓練するためのポリシー勾配法を多目的に選択する。
論文 参考訳(メタデータ) (2024-03-07T02:24:45Z) - Learning from Sparse Offline Datasets via Conservative Density
Estimation [27.93418377019955]
保守密度推定(CDE)と呼ばれる新しいトレーニングアルゴリズムを提案する。
CDEはこの課題に対処し、州が占有する定常分布に明示的に制約を課す。
本手法はD4RLベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2024-01-16T20:42:15Z) - Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline
Reinforcement Learning [57.83919813698673]
Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。
我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
論文 参考訳(メタデータ) (2023-11-25T00:30:58Z) - Offline Imitation Learning with Suboptimal Demonstrations via Relaxed
Distribution Matching [109.5084863685397]
オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。
非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。
提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
論文 参考訳(メタデータ) (2023-03-05T03:35:11Z) - Offline RL With Realistic Datasets: Heteroskedasticity and Support
Constraints [82.43359506154117]
非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。
提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
論文 参考訳(メタデータ) (2022-11-02T11:36:06Z) - Diffusion Policies as an Expressive Policy Class for Offline
Reinforcement Learning [70.20191211010847]
オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。
本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。
本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-08-12T09:54:11Z) - Regularizing a Model-based Policy Stationary Distribution to Stabilize
Offline Reinforcement Learning [62.19209005400561]
オフライン強化学習(RL)は、古典的なRLアルゴリズムのパラダイムを拡張して、静的データセットから純粋に学習する。
オフラインRLの鍵となる課題は、オフラインデータの分布と学習されたポリシーの定常状態分布とのミスマッチによって引き起こされるポリシートレーニングの不安定性である。
政策最適化プロセス中にオフラインデータに対する現在の方針の定常分布を正規化する。
論文 参考訳(メタデータ) (2022-06-14T20:56:16Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳(メタデータ) (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。