論文の概要: Taylor Expansion of Discount Factors

• arxiv url: http://arxiv.org/abs/2106.06170v2
• Date: Mon, 14 Jun 2021 19:50:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 10:33:24.747855
• Title: Taylor Expansion of Discount Factors
• Title（参考訳）: ディスカウント因子のTaylor拡大
• Authors: Yunhao Tang, Mark Rowland, R\'emi Munos, Michal Valko
• Abstract要約: 実効強化学習(RL)では、値関数を推定するために使われる割引係数は、評価目的を定義するために使われる値としばしば異なる。 本研究では,この割引要因の相違が学習中に与える影響について検討し,2つの異なる割引要因の値関数を補間する目的のファミリーを発見する。
• 参考スコア（独自算出の注目度）: 56.46324239692532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practical reinforcement learning (RL), the discount factor used for estimating value functions often differs from that used for defining the evaluation objective. In this work, we study the effect that this discrepancy of discount factors has during learning, and discover a family of objectives that interpolate value functions of two distinct discount factors. Our analysis suggests new ways for estimating value functions and performing policy optimization updates, which demonstrate empirical performance gains. This framework also leads to new insights on commonly-used deep RL heuristic modifications to policy optimization algorithms.
• Abstract（参考訳）: 実効強化学習(RL)では、値関数を推定するために使われる割引係数は、評価目的を定義するために使われる値としばしば異なる。 本研究では,この割引要因の相違が学習中に与える影響について検討し,二つの異なる割引要因の値関数を補間する目的のファミリーを発見する。 分析では、価値関数を推定し、実証的なパフォーマンス向上を示すポリシーの最適化を行う新しい方法を提案する。 このフレームワークは、ポリシー最適化アルゴリズムによく使われる深いrlヒューリスティックな修正に関する新たな洞察をもたらす。

関連論文リスト

• Is Value Functions Estimation with Classification Plug-and-play for Offline Reinforcement Learning? [1.9116784879310031]
  深層強化学習(RL)では、値関数はディープニューラルネットワークを用いて近似され、平均2乗誤差回帰目標を用いて訓練される。 近年の研究では、クロスエントロピー分類の目的を活かした代替手法が提案されている。 我々の研究は、オフラインのRLセットアップにおけるそのような置換の影響を実証的に調査することを目指している。
  論文  参考訳（メタデータ） (2024-06-10T14:25:11Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Prediction and Control in Continual Reinforcement Learning [39.30411018922005]
  時間差(TD)学習は、RLエージェントが有用なポリシーを抽出するために使用する値関数の見積を更新するためにしばしば使用される。 本稿では,値関数を異なる時間スケールで更新する2つのコンポーネントに分解する。
  論文  参考訳（メタデータ） (2023-12-18T19:23:42Z)
• Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning [16.999444076456268]
  そこで本研究では,事前計算を用いて値関数を推定し,オンライン政策勾配法におけるサンプル効率を向上する方法について検討する。 特に,対象タスクに対する新しい値関数を事前の値推定と組み合わせて学習する。 結果の値関数は、ポリシー勾配法におけるベースラインとして使用される。
  論文  参考訳（メタデータ） (2023-02-02T20:23:22Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• A Generalized Bootstrap Target for Value-Learning, Efficiently Combining Value and Feature Predictions [39.17511693008055]
  値関数の推定は強化学習アルゴリズムのコアコンポーネントである。 値関数を推定する際に使用されるターゲットのブートストラップに焦点を当てる。 新たなバックアップターゲットである$eta$-returnmixを提案する。
  論文  参考訳（メタデータ） (2022-01-05T21:54:55Z)
• Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation [53.83642844626703]
  オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。 本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
  論文  参考訳（メタデータ） (2021-06-24T15:58:01Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。