論文の概要: Reward Centering

• arxiv url: http://arxiv.org/abs/2405.09999v2
• Date: Wed, 30 Oct 2024 14:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:24:36.848096
• Title: Reward Centering
• Title（参考訳）: リワードセンター
• Authors: Abhishek Naik, Yi Wan, Manan Tomar, Richard S. Sutton,
• Abstract要約: 本研究は, 強化学習を継続する課題を解決するための割引手法が, 報酬の試算平均を減じることによって, 報酬の集中度を著しく向上させることができることを示す。 問題の報酬が一定でシフトした場合、標準的な手法の方がはるかに悪い結果が得られ、一方、報酬中心の手法は影響を受けないことを示す。
• 参考スコア（独自算出の注目度）: 16.222564833378247
• License:
• Abstract: We show that discounted methods for solving continuing reinforcement learning problems can perform significantly better if they center their rewards by subtracting out the rewards' empirical average. The improvement is substantial at commonly used discount factors and increases further as the discount factor approaches one. In addition, we show that if a problem's rewards are shifted by a constant, then standard methods perform much worse, whereas methods with reward centering are unaffected. Estimating the average reward is straightforward in the on-policy setting; we propose a slightly more sophisticated method for the off-policy setting. Reward centering is a general idea, so we expect almost every reinforcement-learning algorithm to benefit by the addition of reward centering.
• Abstract（参考訳）: 本研究は, 強化学習を継続する課題を解決するための割引手法が, 報酬の試算平均を減じることで, 報酬の集中度を著しく向上できることを示す。 この改善は一般的に使用されるディスカウント要因において大きく、ディスカウント要因が近づくにつれてさらに増加する。 さらに、ある問題の報酬が一定値にシフトした場合、標準手法の方がはるかに悪化し、一方、報酬中心の手法は影響を受けないことを示す。 平均報酬を見積もるのは、オン・ポリティシック・セッティングにおいて簡単であり、オフ・ポリティシック・セッティングのためのより洗練された方法を提案する。 リワードセンタリングは一般的なアイデアなので、ほぼすべての強化学習アルゴリズムが、報酬センタリングの追加によって恩恵を受けることを期待しています。

関連論文リスト

• Walking the Values in Bayesian Inverse Reinforcement Learning [66.68997022043075]
  ベイズIRLの鍵となる課題は、可能な報酬の仮説空間と可能性の間の計算的ギャップを埋めることである。 本稿では,この知見に基づく新しいマルコフ連鎖モンテカルロ法であるValueWalkを提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:52Z)
• Handling Cost and Constraints with Off-Policy Deep Reinforcement Learning [2.793095554369282]
  政治外学習の最も一般的な方法は、学習された状態アクション(Q$)値関数が選択されたデータのバッチに対して最大化されるポリシー改善ステップである。 我々は、この戦略を「混合符号」報酬関数を持つ環境で再考する。 この2つ目のアプローチは、混合符号の報酬を持つ連続的な行動空間に適用した場合、リセットによって拡張された最先端の手法よりも一貫して、著しく優れる。
  論文  参考訳（メタデータ） (2023-11-30T16:31:04Z)
• STARC: A General Framework For Quantifying Differences Between Reward Functions [55.33869271912095]
  我々は、STARCメトリックと呼ばれるすべての報酬関数の空間上の擬計量のクラスを提供する。 以上の結果から,STARCは最悪の後悔に対して上界と下界の両方を誘導することがわかった。 また、以前の研究によって提案された報酬指標に関するいくつかの問題も特定します。
  論文  参考訳（メタデータ） (2023-09-26T20:31:19Z)
• Inverse Reinforcement Learning with the Average Reward Criterion [3.719493310637464]
  本稿では, 逆強化学習(IRL)の問題点を, 平均回帰基準を用いて検討する。 目的は、エージェントが経験豊富なエージェントから状態とアクションのサンプルしか持たない場合、未知のポリシーと報酬関数を回復することである。
  論文  参考訳（メタデータ） (2023-05-24T01:12:08Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
  固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。 楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。 我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
  論文  参考訳（メタデータ） (2021-10-21T15:25:15Z)
• Model-free Policy Learning with Reward Gradients [9.847875182113137]
  モデルを学ぶことなく報酬勾配を統合する新しいアプローチであるtextitReward Policy Gradient estimator を開発した。 また,様々な MuJoCo 制御タスクにおける近似ポリシ最適化の性能も向上する。
  論文  参考訳（メタデータ） (2021-03-09T00:14:13Z)
• Temporal-Logic-Based Reward Shaping for Continuing Learning Tasks [57.17673320237597]
  継続タスクにおいて、平均回帰強化学習は、より一般的な割引報酬の定式化よりも適切な問題定式化である可能性がある。 本稿では,平均回帰学習のための最初の報酬形成フレームワークを提案する。 これは、標準的な仮定の下では、元の報酬関数の下での最適ポリシーを復元できることを証明している。
  論文  参考訳（メタデータ） (2020-07-03T05:06:57Z)
• oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions [37.66289166905027]
  与えられた環境に対する報酬関数の明示的エンジニアリングは、強化学習方法の大きな障害となっている。 本稿では,階層的不整合報酬を選択肢に対するポリシーで学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T22:21:41Z)
• Reinforcement Learning with Goal-Distance Gradient [1.370633147306388]
  強化学習は通常、エージェントを訓練するために環境のフィードバック報酬を使用する。 現在の手法のほとんどは、スパース報酬や非リワード環境での優れたパフォーマンスを得るのが難しい。 一般環境におけるスパース報酬の問題を解決するために,環境報酬に依存しないモデルフリー手法を提案する。
  論文  参考訳（メタデータ） (2020-01-01T02:37:34Z)
• Reward-Conditioned Policies [100.64167842905069]
  模倣学習には、ほぼ最適の専門家データが必要である。 実演なしで指導的学習を通じて効果的な政策を学べるか? 政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。