Fugu-MT 論文翻訳(概要): Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning

論文の概要: Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning

arxiv url: http://arxiv.org/abs/1810.12558v9
Date: Mon, 28 Apr 2025 05:15:26 GMT
ステータス: 情報取得中
システム内更新日: 2025-05-01 07:52:30.594276
Title: Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
Title（参考訳）: 深層強化学習におけるオフポリティアクター批判に対する相対的重要度サンプリング
Authors: Mahammad Humayoo, Gengzhong Zheng, Xiaoqing Dong, Liming Miao, Shuwei Qiu, Zexun Zhou, Peitao Wang, Zakir Ullah, Naveed Ur Rehman Junejo, Xueqi Cheng,
Abstract要約: 強化学習(RL)におけるオフ・ポリティクス学習は、オンライン・ポリティクス学習と比較して不安定性が高い本研究では, 分散を緩和し, 学習を安定させる, スムーズな重要サンプリング, 特に相対重要サンプリング(RIS)を提案する。提案手法は,OpenAI Gym課題と合成データセットに関するいくつかの最先端のRLベンチマークに匹敵する性能を示した。
参考スコア（独自算出の注目度）: 32.66049977978746
License:
Abstract: Off-policy learning exhibits greater instability when compared to on-policy learning in reinforcement learning (RL). The difference in probability distribution between the target policy ($\pi$) and the behavior policy (b) is a major cause of instability. High variance also originates from distributional mismatch. The variation between the target policy's distribution and the behavior policy's distribution can be reduced using importance sampling (IS). However, importance sampling has high variance, which is exacerbated in sequential scenarios. We propose a smooth form of importance sampling, specifically relative importance sampling (RIS), which mitigates variance and stabilizes learning. To control variance, we alter the value of the smoothness parameter $\beta\in[0, 1]$ in RIS. We develop the first model-free relative importance sampling off-policy actor-critic (RIS-off-PAC) algorithms in RL using this strategy. Our method uses a network to generate the target policy (actor) and evaluate the current policy ($\pi$) using a value function (critic) based on behavior policy samples. Our algorithms are trained using behavior policy action values in the reward function, not target policy ones. Both the actor and critic are trained using deep neural networks. Our methods performed better than or equal to several state-of-the-art RL benchmarks on OpenAI Gym challenges and synthetic datasets.
Abstract（参考訳）: オフ政治学習は、強化学習(RL)におけるオン政治学習と比較して、より不安定である。目標ポリシ($\pi$)と行動ポリシ(b)の確率分布の違いは、不安定性の主要な原因である。高分散は分布ミスマッチにも起因している。対象方針の分布と行動方針の分布の変動は、重要サンプリング(IS)を用いて低減することができる。しかし、重要サンプリングは高いばらつきを持ち、連続的なシナリオではさらに悪化する。本研究では, 分散を緩和し, 学習を安定させる, スムーズな重要サンプリング, 特に相対重要サンプリング(RIS)を提案する。分散を制御するために、RIS の滑らか度パラメータ $\beta\in[0, 1]$ の値を変更する。我々は,この戦略を用いて,RL におけるオフポリチックアクタ-クリティカル (RIS-off-PAC) アルゴリズムの最初のモデルフリー相対重要サンプリング手法を開発した。本手法では,行動ポリシーのサンプルに基づいて,対象ポリシー(アクタ)を生成し,現在のポリシー($\pi$)を評価する。我々のアルゴリズムは、目標ポリシーではなく、報酬関数の行動ポリシーアクション値を用いて訓練されている。俳優も批評家も、ディープニューラルネットワークを使って訓練されている。提案手法は,OpenAI Gym課題と合成データセットに関するいくつかの最先端のRLベンチマークに匹敵する性能を示した。

関連論文リスト

Policy Gradient with Active Importance Sampling [55.112959067035916]
政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
論文参考訳（メタデータ） (2024-05-09T09:08:09Z)
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
論文参考訳（メタデータ） (2023-11-25T00:30:58Z)
Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文参考訳（メタデータ） (2023-10-24T01:00:01Z)
Offline RL with No OOD Actions: In-Sample Learning via Implicit Value Regularization [90.9780151608281]
インサンプルラーニング(IQL)は、データサンプルのみを使用して、定量的回帰によってポリシーを改善する。サンプル内学習のパラダイムがtextitImplicit Value Regularization (IVR) フレームワークの下で生まれることを確認する。 Sparse $Q$-learning (EQL)とExponential $Q$-learning (EQL)の2つの実用的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-03-28T08:30:01Z)
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization [18.627233013208834]
重要度サンプリングを用いることで, 目的推定値に高いばらつきが生じる可能性が示唆された。そこで本研究では, サンプルの偏差が高すぎる場合に, サンプルをドロップアウトすることで, 推定分散を束縛する, サンプルドロップアウトと呼ばれる手法を提案する。
論文参考訳（メタデータ） (2023-02-05T04:44:35Z)
Normality-Guided Distributional Reinforcement Learning for Continuous Control [16.324313304691426]
平均戻り値の予測モデル、すなわち値関数の学習は多くの強化学習アルゴリズムにおいて重要な役割を果たす。本研究では,複数の連続制御タスクにおける値分布について検討し,学習した値分布が正規に非常に近いことを示す。本稿では,標準値関数に存在しない値分布の構造的特性によって測定された正当性に基づくポリシー更新戦略を提案する。
論文参考訳（メタデータ） (2022-08-28T02:52:10Z)
False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文参考訳（メタデータ） (2021-10-24T15:34:03Z)
BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
論文参考訳（メタデータ） (2021-10-02T23:55:49Z)
Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-28T05:02:26Z)
Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。この相違は, 目的の強調安定性によるものであることを示す。大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
論文参考訳（メタデータ） (2020-06-27T13:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。