論文の概要: Understanding Adam Optimizer via Online Learning of Updates: Adam is
FTRL in Disguise
- arxiv url: http://arxiv.org/abs/2402.01567v1
- Date: Fri, 2 Feb 2024 17:00:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 14:15:37.765928
- Title: Understanding Adam Optimizer via Online Learning of Updates: Adam is
FTRL in Disguise
- Title(参考訳): アップデートのオンライン学習を通じてAdam Optimizerを理解する:AdamはFTRLである
- Authors: Kwangjun Ahn, Zhiyu Zhang, Yunbum Kook, Yan Dai
- Abstract要約: 本稿では,オンライン学習の観点から,Adamのアルゴリズムコンポーネントの重要性について考察する。
私たちは、AdamがFTRL(Follow-the-Regularized-Leader)と呼ばれる原則付きオンライン学習フレームワークに対応していると考えています。
- 参考スコア(独自算出の注目度): 14.480587261009525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the success of the Adam optimizer in practice, the theoretical
understanding of its algorithmic components still remains limited. In
particular, most existing analyses of Adam show the convergence rate that can
be simply achieved by non-adative algorithms like SGD. In this work, we provide
a different perspective based on online learning that underscores the
importance of Adam's algorithmic components. Inspired by Cutkosky et al.
(2023), we consider the framework called online learning of updates, where we
choose the updates of an optimizer based on an online learner. With this
framework, the design of a good optimizer is reduced to the design of a good
online learner. Our main observation is that Adam corresponds to a principled
online learning framework called Follow-the-Regularized-Leader (FTRL). Building
on this observation, we study the benefits of its algorithmic components from
the online learning perspective.
- Abstract(参考訳): アダム・オプティマイザの成功にもかかわらず、そのアルゴリズム成分の理論的な理解は依然として限られている。
特に、Adamの既存の分析のほとんどは、SGDのような非適応アルゴリズムによって簡単に達成できる収束率を示している。
本研究では,Adamのアルゴリズム的コンポーネントの重要性を浮き彫りにするオンライン学習に基づく異なる視点を提供する。
Cutkoskyらにインスパイアされた2023年、我々はオンライン学習と呼ばれるフレームワークを検討し、オンライン学習者に基づいて最適化者の更新を選択する。
このフレームワークにより、優れたオプティマイザの設計は、優れたオンライン学習者の設計に還元される。
我々は、AdamがFTRL(Follow-the-Regularized-Leader)と呼ばれる原則付きオンライン学習フレームワークに対応していると考えている。
この観察に基づいて,そのアルゴリズムコンポーネントの利点をオンライン学習の観点から検討する。
関連論文リスト
- Learning to Optimize for Reinforcement Learning [79.03249959636776]
ゼロから強化学習を行うエージェントを学習することは可能であることを示す。
おもちゃのタスクでしか訓練されないが、我々の学習はブラックスの複雑なタスクに一般化することができる。
論文 参考訳(メタデータ) (2023-02-03T00:11:02Z) - Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている
我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。
オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-29T17:29:08Z) - How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。
我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
論文 参考訳(メタデータ) (2021-06-21T17:59:51Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Reverse engineering learned optimizers reveals known and novel
mechanisms [50.50540910474342]
学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。
実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
論文 参考訳(メタデータ) (2020-11-04T07:12:43Z) - Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。
目的はオンラインで発見されるため、時間とともに変化に適応することができる。
Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
論文 参考訳(メタデータ) (2020-07-16T16:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。