Fugu-MT 論文翻訳(概要): Deep Reinforcement Learning using Cyclical Learning Rates

論文の概要: Deep Reinforcement Learning using Cyclical Learning Rates

arxiv url: http://arxiv.org/abs/2008.01171v1
Date: Fri, 31 Jul 2020 10:06:02 GMT
ステータス: 処理完了
システム内更新日: 2022-11-04 06:03:12.791379
Title: Deep Reinforcement Learning using Cyclical Learning Rates
Title（参考訳）: サイクル学習率を用いた深層強化学習
Authors: Ralf Gulde, Marc Tuscher, Akos Csiszar, Oliver Riedel and Alexander Verl
Abstract要約: 勾配降下(SGD)に基づく最適化手順における最も影響力のあるパラメータの1つは、学習率である。循環学習について検討し,様々なDRL問題に対する一般循環学習率の定義法を提案する。本実験により, 循環学習は, 高度に調整された固定学習率よりも, 類似あるいは良好な結果が得られることがわかった。
参考スコア（独自算出の注目度）: 62.19441737665902
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Reinforcement Learning (DRL) methods often rely on the meticulous tuning of hyperparameters to successfully resolve problems. One of the most influential parameters in optimization procedures based on stochastic gradient descent (SGD) is the learning rate. We investigate cyclical learning and propose a method for defining a general cyclical learning rate for various DRL problems. In this paper we present a method for cyclical learning applied to complex DRL problems. Our experiments show that, utilizing cyclical learning achieves similar or even better results than highly tuned fixed learning rates. This paper presents the first application of cyclical learning rates in DRL settings and is a step towards overcoming manual hyperparameter tuning.
Abstract（参考訳）: 深層強化学習(Dep Reinforcement Learning, DRL)法は、しばしば問題を解決するためにハイパーパラメータの微妙なチューニングに依存する。確率勾配降下(SGD)に基づく最適化手順における最も影響力のあるパラメータの1つは、学習率である。循環学習について検討し,様々なDRL問題に対する一般循環学習率の定義法を提案する。本稿では,複素DRL問題に適用した循環学習法を提案する。実験の結果,循環学習は,高度に調整された固定学習率と同等あるいはそれ以上の結果が得られることがわかった。本稿では、DRL設定における循環学習率の最初の適用例を示し、手動ハイパーパラメータチューニングの克服に向けた第一歩となる。

関連論文リスト

Symmetric Reinforcement Learning Loss for Robust Learning on Diverse Tasks and Model Scales [13.818149654692863]
強化学習(RL)トレーニングは、移動目標や高勾配分散などの要因により本質的に不安定である。本研究では,雑音データに対する教師付き学習から逆クロスエントロピー(RCE)を適用し,対称的なRL損失を定義することにより,RLトレーニングの安定性を向上させる。
論文参考訳（メタデータ） (2024-05-27T19:28:33Z)
Replay across Experiments: A Natural Extension of Off-Policy RL [18.545939667810565]
複数の実験にまたがってリプレイを効果的に拡張するフレームワークを提案する。コアとなるReplay Across Experiments (RaE)は、以前の実験からの経験を再利用して、探索とブートストラップ学習を改善する。我々は、多数のRLアルゴリズムにまたがる利点を実証的に示し、移動と操作の両方にまたがる制御領域に挑戦する。
論文参考訳（メタデータ） (2023-11-27T15:57:11Z)
The RL Perceptron: Generalisation Dynamics of Policy Learning in High Dimensions [14.778024171498208]
強化学習アルゴリズムは、様々な領域において変形的であることが証明されている。 RLの多くの理論は、離散状態空間や最悪のケース解析に焦点を当てている。本稿では,様々な学習プロトコルを捉えることができるRLの高次元解像モデルを提案する。
論文参考訳（メタデータ） (2023-06-17T18:16:51Z)
Reinforcement Learning with Partial Parametric Model Knowledge [3.3598755777055374]
我々は,環境の完全無知と完全知識のギャップを埋めるために,継続的制御のための強化学習手法を適用した。本手法は,モデルフリーRLとモデルベース制御の両方からインスピレーションを得て,PLSPI(Partial Knowledge Least Squares Policy Iteration)を提案する。
論文参考訳（メタデータ） (2023-04-26T01:04:35Z)
The Ladder in Chaos: A Simple and Effective Improvement to General DRL Algorithms by Policy Path Trimming and Boosting [36.79097098009172]
典型的なDRLエージェントのポリシーネットワークは,学習過程においてどのように進化するかを検討する。ポリシー学習経路に沿って新しい時間的SVDを実行することにより、主パラメータ方向とマイナーパラメータ方向を識別する。本稿では,DRLアルゴリズムの汎用的なプラグイン改良として,PPTB(Policy Path Trimming and Boosting)と呼ばれるシンプルで効果的な手法を提案する。
論文参考訳（メタデータ） (2023-03-02T16:20:46Z)
Jump-Start Reinforcement Learning [68.82380421479675]
本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
論文参考訳（メタデータ） (2022-04-05T17:25:22Z)
RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
論文参考訳（メタデータ） (2021-06-04T03:08:43Z)
Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文参考訳（メタデータ） (2021-04-09T14:50:59Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。