論文の概要: Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves

• arxiv url: http://arxiv.org/abs/2009.11243v1
• Date: Wed, 23 Sep 2020 16:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 15:09:22.917596
• Title: Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves
• Title（参考訳）: タスク、安定性、アーキテクチャ、計算:より効果的な学習オプティマイザをトレーニングし、それらを使って自分自身をトレーニングする
• Authors: Luke Metz, Niru Maheswaranathan, C. Daniel Freeman, Ben Poole, Jascha Sohl-Dickstein
• Abstract要約: 我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
• 参考スコア（独自算出の注目度）: 53.37905268850274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much as replacing hand-designed features with learned functions has revolutionized how we solve perceptual tasks, we believe learned algorithms will transform how we train models. In this work we focus on general-purpose learned optimizers capable of training a wide variety of problems with no user-specified hyperparameters. We introduce a new, neural network parameterized, hierarchical optimizer with access to additional features such as validation loss to enable automatic regularization. Most learned optimizers have been trained on only a single task, or a small number of tasks. We train our optimizers on thousands of tasks, making use of orders of magnitude more compute, resulting in optimizers that generalize better to unseen tasks. The learned optimizers not only perform well, but learn behaviors that are distinct from existing first order optimizers. For instance, they generate update steps that have implicit regularization and adapt as the problem hyperparameters (e.g. batch size) or architecture (e.g. neural network width) change. Finally, these learned optimizers show evidence of being useful for out of distribution tasks such as training themselves from scratch.
• Abstract（参考訳）: 手作業で設計した機能を学習関数に置き換えるだけでなく、学習したアルゴリズムがモデルをトレーニングする方法を変えると信じています。 本研究では,汎用学習オプティマイザに着目し,ユーザ特定ハイパーパラメータを必要とせず,多種多様な問題を学習する。 自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、ニューラルネットワークのパラメータ化と階層最適化を導入した。 ほとんどの学習したオプティマイザは、単一のタスクまたは少数のタスクでトレーニングされています。 何千ものタスクで最適化器をトレーニングし、桁違いに計算量を増やし、その結果、見当たらないタスクをより一般化するオプティマイザを生み出します。 学習したオプティマイザは、うまく機能するだけでなく、既存のファーストオーダーオプティマイザとは異なる振る舞いを学ぶ。 例えば、暗黙の正規化を持つ更新ステップを生成し、問題ハイパーパラメータ(バッチサイズなど)やアーキテクチャ(ニューラルネットワークの幅など)が変化するように適応する。 最後に、これらの学習されたオプティマイザは、スクラッチからトレーニングするなど、分散タスクの欠如に有用であることを示す。

関連論文リスト

• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Practical tradeoffs between memory, compute, and performance in learned optimizers [46.04132441790654]
  我々は、多くの学習や手作業で設計された機能に対して、メモリ、計算、パフォーマンスのトレードオフを特定し、定量化する。 分析を活用して、従来の作業よりも速く、より効率的に学習可能なものを構築するのです。
  論文  参考訳（メタデータ） (2022-03-22T16:36:36Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。