論文の概要: Correcting Momentum in Temporal Difference Learning
- arxiv url: http://arxiv.org/abs/2106.03955v1
- Date: Mon, 7 Jun 2021 20:41:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 10:21:19.086793
- Title: Correcting Momentum in Temporal Difference Learning
- Title(参考訳): 時間差学習における修正モーメント
- Authors: Emmanuel Bengio, Joelle Pineau, Doina Precup
- Abstract要約: 時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。
この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。
この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
- 参考スコア(独自算出の注目度): 95.62766731469671
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common optimization tool used in deep reinforcement learning is momentum,
which consists in accumulating and discounting past gradients, reapplying them
at each iteration. We argue that, unlike in supervised learning, momentum in
Temporal Difference (TD) learning accumulates gradients that become doubly
stale: not only does the gradient of the loss change due to parameter updates,
the loss itself changes due to bootstrapping. We first show that this
phenomenon exists, and then propose a first-order correction term to momentum.
We show that this correction term improves sample efficiency in policy
evaluation by correcting target value drift. An important insight of this work
is that deep RL methods are not always best served by directly importing
techniques from the supervised setting.
- Abstract(参考訳): 深層強化学習でよく使われる最適化ツールはmomentmentで、過去の勾配を蓄積し、ディスカウントし、各イテレーションで再適用する。
教師付き学習とは異なり、時間差学習(td)の勢いは、二重に停滞する勾配を蓄積する:パラメータ更新によって損失の勾配が変化するだけでなく、ブートストラップによって損失自体が変化する。
まず、この現象の存在を示し、次に運動量に対する一階補正項を提案する。
この補正項は,目標値のドリフトを補正することで,政策評価におけるサンプル効率を向上させることを示す。
この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
関連論文リスト
- ODICE: Revealing the Mystery of Distribution Correction Estimation via
Orthogonal-gradient Update [43.91666113724066]
オフライン強化学習(RL)と模倣学習(IL)における重要な作業ラインであるDICE法について検討する。
DICEベースの手法は、オフライン学習の理想的な選択である状態-行動レベルの行動制約を課す。
真の漸進的更新を用いて値関数を学習する際には,2つの勾配項が存在する: 前方勾配(現在の状態に着想する)と後方勾配(次の状態に着想する)。
論文 参考訳(メタデータ) (2024-02-01T05:30:51Z) - DPSUR: Accelerating Differentially Private Stochastic Gradient Descent
Using Selective Update and Release [29.765896801370612]
本稿では,Selective Updates and Releaseに基づく差分プライベートトレーニングフレームワークを提案する。
主な課題は、プライバシに関する懸念と、モデル更新のための勾配選択戦略の2つの側面にある。
MNIST,FMNIST, CIFAR-10, IMDBデータセットを用いて行った実験により, DPSURは収束速度において従来よりも大幅に優れていたことがわかった。
論文 参考訳(メタデータ) (2023-11-23T15:19:30Z) - Spreads in Effective Learning Rates: The Perils of Batch Normalization
During Early Training [9.195729979000406]
我々は、早期トレーニングダイナミクスを記述するODEベースのモデルを開発した。
我々のモデルは、勾配流において、実効LRは最終的に等しくなると予測する。
有効LRの大規模な拡散は、精度に関するトレーニング問題を引き起こすことが観察された。
論文 参考訳(メタデータ) (2023-06-01T14:09:52Z) - Direction Matters: On the Implicit Bias of Stochastic Gradient Descent
with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。
SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文 参考訳(メタデータ) (2020-11-04T21:07:52Z) - Implicit Under-Parameterization Inhibits Data-Efficient Deep
Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。
AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文 参考訳(メタデータ) (2020-10-27T17:55:16Z) - AdamP: Slowing Down the Slowdown for Momentum Optimizers on
Scale-invariant Weights [53.8489656709356]
正規化技術は現代の深層学習の恩恵である。
しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。
本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
論文 参考訳(メタデータ) (2020-06-15T08:35:15Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳(メタデータ) (2020-02-21T22:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。