論文の概要: On the Estimation Bias in Double Q-Learning

• arxiv url: http://arxiv.org/abs/2109.14419v1
• Date: Wed, 29 Sep 2021 13:41:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 15:04:21.766913
• Title: On the Estimation Bias in Double Q-Learning
• Title（参考訳）: ダブルq学習における推定バイアスについて
• Authors: Zhizhou Ren, Guangxiang Zhu, Hao Hu, Beining Han, Jianglun Chen, Chongjie Zhang
• Abstract要約: 二重Q学習は完全にバイアスがなく、過小評価バイアスに悩まされている。 そのような過小評価バイアスは、近似されたベルマン作用素の下で複数の最適でない不動点をもたらす可能性があることを示す。 ダブルQ-ラーニングにおける過小評価バイアスに対する部分修正として,単純だが効果的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 20.856485777692594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Double Q-learning is a classical method for reducing overestimation bias, which is caused by taking maximum estimated values in the Bellman operation. Its variants in the deep Q-learning paradigm have shown great promise in producing reliable value prediction and improving learning performance. However, as shown by prior work, double Q-learning is not fully unbiased and suffers from underestimation bias. In this paper, we show that such underestimation bias may lead to multiple non-optimal fixed points under an approximated Bellman operator. To address the concerns of converging to non-optimal stationary solutions, we propose a simple but effective approach as a partial fix for the underestimation bias in double Q-learning. This approach leverages an approximate dynamic programming to bound the target value. We extensively evaluate our proposed method in the Atari benchmark tasks and demonstrate its significant improvement over baseline algorithms.
• Abstract（参考訳）: ダブルQ-ラーニングは、ベルマン演算において最大推定値を取ることによって生じる過大評価バイアスを低減する古典的な方法である。 深層q学習パラダイムにおけるその変種は、信頼性の高い価値予測と学習性能の向上に大きな期待を示している。 しかしながら、先行研究で示されているように、ダブルq学習は完全に偏りがなく、過小評価バイアスに苦しむ。 本稿では,そのような過小評価バイアスがベルマン作用素の下で複数の最適でない不動点をもたらすことを示す。 非最適定常解への収束の懸念に対処するために,二重q-learningにおける過大評価バイアスに対する部分的修正として,単純かつ効果的なアプローチを提案する。 このアプローチは、ターゲット値のバウンドに近似動的プログラミングを利用する。 Atariベンチマークタスクにおいて提案手法を広範囲に評価し,ベースラインアルゴリズムよりも大幅に改善したことを示す。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Regularized Q-learning through Robust Averaging [3.4354636842203026]
  本稿では,既存のQラーニング手法の弱点を原則的に解決する,2RA Qラーニングと呼ばれる新しいQラーニング変種を提案する。 そのような弱点の1つは、制御できない、しばしばパフォーマンスが低下する、基礎となる推定バイアスである。 2RA Q-learningは最適ポリシーに収束し、理論平均二乗誤差を解析する。
  論文  参考訳（メタデータ） (2024-05-03T15:57:26Z)
• Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods [133.85604983925282]
  保守的アドバンテージ学習(SDQ-CAL)を用いた同時二重Q-ラーニングを提案する。 提案アルゴリズムはバイアスの少ない値推定を実現し,一連の連続制御ベンチマークタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T09:17:16Z)
• Balanced Q-learning: Combining the Influence of Optimistic and Pessimistic Targets [74.04426767769785]
  シナリオによっては、特定の種類の偏見が好ましいかもしれないことを示す。 そこで我々は,目標を悲観的かつ楽観的な用語の凸組合せに修正した新しい強化学習アルゴリズムであるBa balanced Q-learningを設計する。
  論文  参考訳（メタデータ） (2021-11-03T07:30:19Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Parameter-Free Deterministic Reduction of the Estimation Bias in Continuous Control [0.0]
  パラメータフリーで新しいQ-ラーニングバリアントを導入し、この過小評価バイアスを連続制御に還元する。 我々は、MuJoCoとBox2Dの連続制御タスクのセットで改善性能をテストする。
  論文  参考訳（メタデータ） (2021-09-24T07:41:07Z)
• Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods [0.0]
  価値に基づく深層強化学習法では、値関数の近似は過大評価バイアスを誘発し、準最適ポリシーをもたらす。 過大評価バイアスを克服することを目的とした深いアクター批判的手法では,エージェントが受信した強化信号に高いばらつきがある場合,顕著な過大評価バイアスが発生することを示す。 過小評価を最小限に抑えるため,パラメータフリーで新しいQ-ラーニングモデルを提案する。
  論文  参考訳（メタデータ） (2021-09-22T13:49:35Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Maxmin Q-learning: Controlling the Estimation Bias of Q-learning [31.742397178618624]
  過大評価バイアスは、最大推定アクション値を用いて最大アクション値を近似するため、Q-ラーニングに影響を与える。 バイアスを柔軟に制御するためのパラメータを提供するemphMaxmin Q-learningと呼ばれるQ-ラーニングの一般化を提案する。 提案アルゴリズムは,おもちゃの環境における推定バイアスをよりよく制御し,いくつかのベンチマーク問題において優れた性能が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-02-16T02:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。