論文の概要: Variance Control for Distributional Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2307.16152v1
• Date: Sun, 30 Jul 2023 07:25:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 17:28:14.996914
• Title: Variance Control for Distributional Reinforcement Learning
• Title（参考訳）: 分散強化学習のための変数制御
• Authors: Qi Kuang, Zhoufan Zhu, Liwen Zhang, Fan Zhou
• Abstract要約: 我々は,新しい推定器であるemphQuantiled Expansion Mean(QEM)を構築し,統計的観点から新しいDRLアルゴリズム(QEMRL)を導入する。 我々は,Atari と Mujoco のベンチマークタスクに対して,QEMRL アルゴリズムを広範囲に評価した。
• 参考スコア（独自算出の注目度）: 22.407803118899512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although distributional reinforcement learning (DRL) has been widely examined in the past few years, very few studies investigate the validity of the obtained Q-function estimator in the distributional setting. To fully understand how the approximation errors of the Q-function affect the whole training process, we do some error analysis and theoretically show how to reduce both the bias and the variance of the error terms. With this new understanding, we construct a new estimator \emph{Quantiled Expansion Mean} (QEM) and introduce a new DRL algorithm (QEMRL) from the statistical perspective. We extensively evaluate our QEMRL algorithm on a variety of Atari and Mujoco benchmark tasks and demonstrate that QEMRL achieves significant improvement over baseline algorithms in terms of sample efficiency and convergence performance.
• Abstract（参考訳）: 分布強化学習 (DRL) は近年広く研究されているが, 分布環境におけるQ関数推定器の有効性についてはほとんど研究されていない。 q関数の近似誤差がトレーニングプロセス全体に与える影響を十分に理解するために、いくつかの誤差解析を行い、理論的に、バイアスと誤差項の分散を減らす方法を示す。 この新たな理解により、新しい推定器であるemph{Quantiled Expansion Mean} (QEM)を構築し、統計的観点から新しいDRLアルゴリズム(QEMRL)を導入する。 我々は,Atari と Mujoco のベンチマークタスクにおいて,QEMRL アルゴリズムを広範囲に評価し,QEMRL がサンプル効率と収束性能の点で,ベースラインアルゴリズムよりも大幅に改善できることを実証した。

関連論文リスト

• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Normality-Guided Distributional Reinforcement Learning for Continuous Control [16.324313304691426]
  平均戻り値の予測モデル、すなわち値関数の学習は多くの強化学習アルゴリズムにおいて重要な役割を果たす。 本研究では,複数の連続制御タスクにおける値分布について検討し,学習した値分布が正規に非常に近いことを示す。 本稿では,標準値関数に存在しない値分布の構造的特性によって測定された正当性に基づくポリシー更新戦略を提案する。
  論文  参考訳（メタデータ） (2022-08-28T02:52:10Z)
• The Nature of Temporal Difference Errors in Multi-step Distributional Reinforcement Learning [46.85801978792022]
  分散RLに対する多段階オフポリシー学習手法について検討する。 経路依存分布TD誤差の新しい概念を同定する。 我々は, 深部RLエージェントQR-DQN-Retraceを導く新しいアルゴリズムQuantile Regression-Retraceを導出する。
  論文  参考訳（メタデータ） (2022-07-15T16:19:23Z)
• Unbiased Gradient Estimation for Distributionally Robust Learning [2.1777837784979277]
  分散的に堅牢な学習(DRL)に基づく新しいアプローチを検討し、内部問題に勾配降下を適用します。 本アルゴリズムはマルチレベルモンテカルロランダム化により勾配勾配を効率的に推定する。
  論文  参考訳（メタデータ） (2020-12-22T21:35:03Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Deep Reinforcement Learning with Weighted Q-Learning [43.823659028488876]
  Q-learningに基づく強化学習アルゴリズムは、複雑な問題の解決に向けて、Deep Reinforcement Learning (DRL)研究を推進している。 Q-Learningは、期待値の雑音の最大過度推定を用いて学習するため、正の偏りがあることが知られている。 提案手法は, 提案手法により, バイアスw.r.t.関連ベースラインを減らし, その優位性を示す実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-03-20T13:57:40Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。