論文の概要: Adam on Local Time: Addressing Nonstationarity in RL with Relative Adam Timesteps

• arxiv url: http://arxiv.org/abs/2412.17113v1
• Date: Sun, 22 Dec 2024 18:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:56:04.559126
• Title: Adam on Local Time: Addressing Nonstationarity in RL with Relative Adam Timesteps
• Title（参考訳）: 局所時間に関するAdam氏の語るRLの非定常性と相対的なAdamタイムステップ
• Authors: Benjamin Ellis, Matthew T. Jackson, Andrei Lupu, Alexander D. Goldie, Mattie Fellows, Shimon Whiteson, Jakob Foerster,
• Abstract要約: 我々は、強化学習に広く用いられているAdam optimiserに適応する。 我々は、Adam-Relがエポック内で局所的なタイムステップを使用しており、基本的にターゲット変更後のAdamのタイムステップを0にリセットしていることを示す。 次に,RLにおいて勾配ノルムの増加が生じることを示すとともに,理論モデルと観測データとの差について検討する。
• 参考スコア（独自算出の注目度）: 65.64965527170156
• License:
• Abstract: In reinforcement learning (RL), it is common to apply techniques used broadly in machine learning such as neural network function approximators and momentum-based optimizers. However, such tools were largely developed for supervised learning rather than nonstationary RL, leading practitioners to adopt target networks, clipped policy updates, and other RL-specific implementation tricks to combat this mismatch, rather than directly adapting this toolchain for use in RL. In this paper, we take a different approach and instead address the effect of nonstationarity by adapting the widely used Adam optimiser. We first analyse the impact of nonstationary gradient magnitude -- such as that caused by a change in target network -- on Adam's update size, demonstrating that such a change can lead to large updates and hence sub-optimal performance. To address this, we introduce Adam-Rel. Rather than using the global timestep in the Adam update, Adam-Rel uses the local timestep within an epoch, essentially resetting Adam's timestep to 0 after target changes. We demonstrate that this avoids large updates and reduces to learning rate annealing in the absence of such increases in gradient magnitude. Evaluating Adam-Rel in both on-policy and off-policy RL, we demonstrate improved performance in both Atari and Craftax. We then show that increases in gradient norm occur in RL in practice, and examine the differences between our theoretical model and the observed data.
• Abstract（参考訳）: 強化学習(RL)では、ニューラルネットワーク関数近似器や運動量に基づくオプティマイザなどの機械学習で広く使用されるテクニックを適用することが一般的である。 しかし、そのようなツールは非定常的なRLよりも教師あり学習のために主に開発され、実践者はRLで使用するツールチェーンを直接適応するのではなく、ターゲットネットワーク、クリップされたポリシー更新、その他のRL固有の実装トリックを採用するようになった。 本稿では,Adam optimiser を適応させることにより,異なるアプローチで非定常性の効果に対処する。 我々はまず、ターゲットネットワークの変更など、非定常勾配の大きさがAdamの更新サイズに与える影響を分析し、そのような変更が大きな更新につながり、その結果、サブ最適パフォーマンスをもたらすことを実証する。 これを解決するためにAdam-Relを紹介します。 アダム・レルはアダム更新でグローバルなタイムステップを使用する代わりに、エポック内の局所的なタイムステップを使用し、基本的には目標変更後のアダムのタイムステップを0にリセットする。 このような勾配の増大がない場合、これは大きな更新を回避し、学習速度のアニーリングを減少させることを示した。 Atari と Craftax の両方のパフォーマンス向上を実演し,Adam-Rel をオン・ポリティとオフ・ポリティカの両方で評価した。 次に,RLにおいて勾配ノルムの増加が生じることを示すとともに,理論モデルと観測データとの差について検討する。

関連論文リスト

• Stop Regressing: Training Value Functions via Classification for Scalable Deep RL [109.44370201929246]
  分類的クロスエントロピーを用いた値関数のトレーニングにより,様々な領域における性能とスケーラビリティが向上することを示す。 例えば、SoftMoEによるAtari 2600ゲームでのシングルタスクRL、大規模ResNetによるAtariでのマルチタスクRL、Q-トランスフォーマーによるロボット操作、検索なしでチェスをプレイする、高容量トランスフォーマーによる言語エージェントWordleタスクなどがある。
  論文  参考訳（メタデータ） (2024-03-06T18:55:47Z)
• AdamL: A fast adaptive gradient method incorporating loss function [1.6025685183216696]
  本稿では,Adamの新たな変種であるAdamLを提案する。 我々は,Adam,EAdam,AdaBeliefと比較して,AdamLが最速収束あるいは最小目標関数値を達成することを示す。 バニラ畳み込みニューラルネットワークの場合、AdamLは他のAdamの変種とは違い、トレーニングの後半段階では学習率を手動で調整する必要がなくなる。
  論文  参考訳（メタデータ） (2023-12-23T16:32:29Z)
• Non-ergodicity in reinforcement learning: robustness via ergodicity transformations [8.44491527275706]
  強化学習(RL)の応用分野は、自律運転、精密農業、金融などである。 この堅牢性の欠如に寄与する根本的な問題は、リターンの期待値に焦点をあてることにある、と私たちは主張する。 本研究では,データからエルゴディディティを学習するアルゴリズムを提案し,その効果を非エルゴディティ環境において実証する。
  論文  参考訳（メタデータ） (2023-10-17T15:13:33Z)
• Entropy Regularized Reinforcement Learning with Cascading Networks [9.973226671536041]
  Deep RLは関数近似器としてニューラルネットワークを使用する。 RLの大きな難しさの1つは、i.i.d.データの欠如である。 本研究では,ニューラルネットワークを用いた教師なし学習コミュニティの共通実践に挑戦する。
  論文  参考訳（メタデータ） (2022-10-16T10:28:59Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)
• GDI: Rethinking What Makes Reinforcement Learning Different From Supervised Learning [8.755783981297396]
  我々は、一般化政策イテレーション(GPI)と呼ばれるRLの基本パラダイムを、一般化データ分散イテレーション(GDI)と呼ばれるより一般的なバージョンに拡張する。 提案アルゴリズムは, 平均正規化スコア(HNS)9620.98%, 中央値HNS1146.39%, HWRB22を200フレームのトレーニングフレームで達成した。
  論文  参考訳（メタデータ） (2021-06-11T08:31:12Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。