論文の概要: A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases

• arxiv url: http://arxiv.org/abs/2209.11208v1
• Date: Thu, 22 Sep 2022 17:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:07:35.511701
• Title: A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases
• Title（参考訳）: 学習した最適化をよく見る - 安定性、ロバスト性、帰納バイアス
• Authors: James Harrison, Luke Metz, Jascha Sohl-Dickstein
• Abstract要約: ブラックボックスは、しばしば、メタトレーニングセットのタスクと異なり、安定性と一般化に苦しむ。 最適化アルゴリズムの帰納バイアスと安定性特性について検討し、結果として得られる知見をブラックボックスの帰納バイアスの設計に適用する。 私たちはさまざまなニューラルネットワークトレーニングタスクを学び、そこで学んだ技術の現状を上回ります。
• 参考スコア（独自算出の注目度）: 44.01339030872185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned optimizers -- neural networks that are trained to act as optimizers -- have the potential to dramatically accelerate training of machine learning models. However, even when meta-trained across thousands of tasks at huge computational expense, blackbox learned optimizers often struggle with stability and generalization when applied to tasks unlike those in their meta-training set. In this paper, we use tools from dynamical systems to investigate the inductive biases and stability properties of optimization algorithms, and apply the resulting insights to designing inductive biases for blackbox optimizers. Our investigation begins with a noisy quadratic model, where we characterize conditions in which optimization is stable, in terms of eigenvalues of the training dynamics. We then introduce simple modifications to a learned optimizer's architecture and meta-training procedure which lead to improved stability, and improve the optimizer's inductive bias. We apply the resulting learned optimizer to a variety of neural network training tasks, where it outperforms the current state of the art learned optimizer -- at matched optimizer computational overhead -- with regard to optimization performance and meta-training speed, and is capable of generalization to tasks far different from those it was meta-trained on.
• Abstract（参考訳）: 学習されたオプティマイザ(オプティマイザとして機能するように訓練されたニューラルネットワーク)は、機械学習モデルのトレーニングを劇的に加速する可能性がある。 しかし、膨大な計算コストで何千ものタスクをメタトレーニングした場合でも、blackboxは、メタトレーニングセットと異なり、タスクに適用する際の安定性や一般化に苦慮することが多いことを学習した。 本稿では,最適化アルゴリズムのインダクティブバイアスと安定性特性を調べるために動的システムのツールを使用し,ブラックボックスオプティマイザのインダクティブバイアスの設計にその結果を応用する。 我々の研究は、トレーニングダイナミクスの固有値の観点から、最適化が安定である条件を特徴付けるノイズ2次モデルから始まります。 次に、学習したオプティマイザのアーキテクチャとメタトレーニング手順に簡単な修正を加え、安定性を改善し、オプティマイザの帰納バイアスを改善する。 その結果得られた学習オプティマイザを、さまざまなニューラルネットワークトレーニングタスクに適用し、最適化パフォーマンスとメタトレーニング速度に関して、学習オプティマイザの現在の状況 -- 適合オプティマイザの計算オーバーヘッド -- を上回り、メタトレーニングされたタスクとははるかに異なるタスクに一般化することが可能になります。

関連論文リスト

• Narrowing the Focus: Learned Optimizers for Pretrained Models [24.685918556547055]
  本稿では,一連の基本作業タスクによって提供される更新方向の階層固有の線形結合を学習する手法を提案する。 画像上で評価すると、これはAdamのような従来の既成の方法と既存の一般的な学習の両方で著しく優れています。
  論文  参考訳（メタデータ） (2024-08-17T23:55:19Z)
• Investigation into the Training Dynamics of Learned Optimizers [0.0]
  従来の手作りのアルゴリズムをメタ学習関数に置き換えることで、学習の概念を最適化プロセスを加速させる方法として検討する。 本研究は,ネットワークアーキテクチャの対称性と更新パラメータの観点から最適化について検討する。 私たちは、それぞれのアプローチが互いの強みからどのように恩恵を受けるかを示すいくつかの重要な洞察を特定します。
  論文  参考訳（メタデータ） (2023-12-12T11:18:43Z)
• HUB: Guiding Learned Optimizers with Continuous Prompt Tuning [45.662334160254176]
  学習はメタ学習の重要な要素である。 スケーラブルな学習の最近の進歩は、様々なタスクにおいて手作業よりも優れたパフォーマンスを示している。 本稿では,スケーラブルな学習における一般化問題に対処するため,ハイブリッド更新ベース(HUB)最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T11:08:20Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。