論文の概要: Reverse engineering learned optimizers reveals known and novel mechanisms

• arxiv url: http://arxiv.org/abs/2011.02159v2
• Date: Tue, 7 Dec 2021 19:54:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 21:22:15.270779
• Title: Reverse engineering learned optimizers reveals known and novel mechanisms
• Title（参考訳）: 逆エンジニアリングで学習したオプティマイザが既知の新しいメカニズムを明らかに
• Authors: Niru Maheswaranathan, David Sussillo, Luke Metz, Ruoxi Sun, Jascha Sohl-Dickstein
• Abstract要約: 学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
• 参考スコア（独自算出の注目度）: 50.50540910474342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned optimizers are algorithms that can themselves be trained to solve optimization problems. In contrast to baseline optimizers (such as momentum or Adam) that use simple update rules derived from theoretical principles, learned optimizers use flexible, high-dimensional, nonlinear parameterizations. Although this can lead to better performance in certain settings, their inner workings remain a mystery. How is a learned optimizer able to outperform a well tuned baseline? Has it learned a sophisticated combination of existing optimization techniques, or is it implementing completely new behavior? In this work, we address these questions by careful analysis and visualization of learned optimizers. We study learned optimizers trained from scratch on three disparate tasks, and discover that they have learned interpretable mechanisms, including: momentum, gradient clipping, learning rate schedules, and a new form of learning rate adaptation. Moreover, we show how the dynamics of learned optimizers enables these behaviors. Our results help elucidate the previously murky understanding of how learned optimizers work, and establish tools for interpreting future learned optimizers.
• Abstract（参考訳）: 学習された最適化は最適化問題を解決するために自分自身を訓練できるアルゴリズムである。 理論原理に由来する単純な更新規則を使用するベースラインオプティマイザ(運動量やアダムなど)とは対照的に、学習オプティマイザは柔軟で高次元の非線形パラメータ化を使用する。 特定の環境ではパフォーマンスが向上する可能性があるが、内部の作業は謎のままである。 学習したオプティマイザは、よく調整されたベースラインを上回ることができるだろうか? 既存の最適化テクニックの洗練された組み合わせを学んだのか、それとも完全に新しい振る舞いを実装しているのか? 本稿では,これらの課題に対して,学習オプティマイザの注意深い解析と可視化を行う。 我々は,3つの異なるタスクをスクラッチから訓練した学習オプティマイザについて検討し,運動量,勾配クリッピング,学習率スケジュール,学習率適応の新たな形式など,解釈可能なメカニズムを学んだことを発見した。 さらに,学習オプティマイザのダイナミクスがこれらの動作をどのように可能にするかを示す。 この結果から,学習オプティマイザの動作に関するこれまでの濁った理解を解明し,今後の学習オプティマイザを解釈するためのツールを確立することができる。

関連論文リスト

• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Investigation into the Training Dynamics of Learned Optimizers [0.0]
  従来の手作りのアルゴリズムをメタ学習関数に置き換えることで、学習の概念を最適化プロセスを加速させる方法として検討する。 本研究は,ネットワークアーキテクチャの対称性と更新パラメータの観点から最適化について検討する。 私たちは、それぞれのアプローチが互いの強みからどのように恩恵を受けるかを示すいくつかの重要な洞察を特定します。
  論文  参考訳（メタデータ） (2023-12-12T11:18:43Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Learning to Optimize with Dynamic Mode Decomposition [0.0]
  本稿では,動的モード分解法を用いて最適化力学に関する情報的特徴を抽出する方法を示す。 学習結果から,最適化問題を簡潔に解き明かすことにより,より一般化できることが示される。
  論文  参考訳（メタデータ） (2022-11-29T14:55:59Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases [44.01339030872185]
  ブラックボックスは、しばしば、メタトレーニングセットのタスクと異なり、安定性と一般化に苦しむ。 最適化アルゴリズムの帰納バイアスと安定性特性について検討し、結果として得られる知見をブラックボックスの帰納バイアスの設計に適用する。 私たちはさまざまなニューラルネットワークトレーニングタスクを学び、そこで学んだ技術の現状を上回ります。
  論文  参考訳（メタデータ） (2022-09-22T17:47:21Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。