論文の概要: HUB: Guiding Learned Optimizers with Continuous Prompt Tuning

• arxiv url: http://arxiv.org/abs/2305.16823v1
• Date: Fri, 26 May 2023 11:08:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 15:33:09.954584
• Title: HUB: Guiding Learned Optimizers with Continuous Prompt Tuning
• Title（参考訳）: HUB: 継続的プロンプトチューニングによる学習最適化の指導
• Authors: Gaole Dai, Wei Wu, Ziyu Wang, Jie Fu, Shanghang Zhang, Tiejun Huang
• Abstract要約: 学習はメタ学習の重要な要素である。 スケーラブルな学習の最近の進歩は、様々なタスクにおいて手作業よりも優れたパフォーマンスを示している。 本稿では,スケーラブルな学習における一般化問題に対処するため,ハイブリッド更新ベース(HUB)最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 45.662334160254176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned optimizers are a crucial component of meta-learning. Recent advancements in scalable learned optimizers have demonstrated their superior performance over hand-designed optimizers in various tasks. However, certain characteristics of these models, such as an unstable learning curve, limited ability to handle unseen tasks and network architectures, difficult-to-control behaviours, and poor performance in fine-tuning tasks impede their widespread adoption. To tackle the issue of generalization in scalable learned optimizers, we propose a hybrid-update-based (HUB) optimization strategy inspired by recent advancements in hard prompt tuning and result selection techniques used in large language and vision models. This approach can be easily applied to any task that involves hand-designed or learned optimizer. By incorporating hand-designed optimizers as the second component in our hybrid approach, we are able to retain the benefits of learned optimizers while stabilizing the training process and, more importantly, improving testing performance. We validate our design through a total of 17 tasks, consisting of thirteen training from scratch and four fine-tuning settings. These tasks vary in model sizes, architectures, or dataset sizes, and the competing optimizers are hyperparameter-tuned. We outperform all competitors in 94% of the tasks with better testing performance. Furthermore, we conduct a theoretical analysis to examine the potential impact of our hybrid strategy on the behaviours and inherited traits of learned optimizers.
• Abstract（参考訳）: 学習オプティマイザは、メタラーニングの重要なコンポーネントです。 スケーラブルな学習オプティマイザの最近の進歩は、手作業で設計したオプティマイザよりも優れたパフォーマンスを示している。 しかし、不安定な学習曲線、目に見えないタスクやネットワークアーキテクチャを扱う能力の制限、制御の困難さ、微調整タスクのパフォーマンスの低下など、これらのモデルの特定の特性は、その普及を妨げる。 本稿では,スケーラブルな学習オプティマイザの一般化問題に取り組むために,近年のハードプロンプトチューニングと結果選択技術の進歩に触発されたハイブリッド更新ベース(hub)最適化戦略を提案する。 このアプローチは、手書きまたは学習したオプティマイザを含むあらゆるタスクに容易に適用できる。 手設計のオプティマイザをハイブリッドアプローチの第2のコンポーネントとして組み込むことで、学習したオプティマイザのメリットを維持しながら、トレーニングプロセスを安定化させ、さらに重要なのは、テストパフォーマンスの向上です。 我々は、スクラッチから13のトレーニングと4つの微調整設定からなる合計17のタスクで設計を検証する。 これらのタスクはモデルサイズ、アーキテクチャ、データセットサイズによって異なり、競合するオプティマイザはハイパーパラメータチューニングされている。 テストパフォーマンスが向上したタスクの94%では,すべての競合相手を上回っています。 さらに, ハイブリッド戦略が学習オプティマイザの行動および遺伝特性に与える影響を検討するために, 理論的解析を行った。

関連論文リスト

• CoRe Optimizer: An All-in-One Solution for Machine Learning [0.0]
  連続レジリエント収束(CoRe)は、他の最先端の1次勾配に基づく収束アルゴリズムと比較して優れた性能を示した。 CoReは、調査されたすべてのアプリケーションにおいて、最高の、または競争的なパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-07-28T16:48:42Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases [44.01339030872185]
  ブラックボックスは、しばしば、メタトレーニングセットのタスクと異なり、安定性と一般化に苦しむ。 最適化アルゴリズムの帰納バイアスと安定性特性について検討し、結果として得られる知見をブラックボックスの帰納バイアスの設計に適用する。 私たちはさまざまなニューラルネットワークトレーニングタスクを学び、そこで学んだ技術の現状を上回ります。
  論文  参考訳（メタデータ） (2022-09-22T17:47:21Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。