論文の概要: Training Stronger Baselines for Learning to Optimize

• arxiv url: http://arxiv.org/abs/2010.09089v1
• Date: Sun, 18 Oct 2020 20:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 03:57:37.562602
• Title: Training Stronger Baselines for Learning to Optimize
• Title（参考訳）: 学習の最適化のためのより強いベースラインのトレーニング
• Authors: Tianlong Chen, Weiyi Zhang, Jingyang Zhou, Shiyu Chang, Sijia Liu, Lisa Amini, Zhangyang Wang
• Abstract要約: 最も単純なL2Oモデルであっても、より優れたトレーニングが可能であることを示します。 我々は、分析学の振る舞いを参考にして、非政治模倣学習を利用してL2O学習を指導する。 改良されたトレーニング技術は、様々な最先端のL2Oモデルにプラグインされ、即座に性能が向上する。
• 参考スコア（独自算出の注目度）: 119.35557905664832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to optimize (L2O) has gained increasing attention since classical optimizers require laborious problem-specific design and hyperparameter tuning. However, there is a gap between the practical demand and the achievable performance of existing L2O models. Specifically, those learned optimizers are applicable to only a limited class of problems, and often exhibit instability. With many efforts devoted to designing more sophisticated L2O models, we argue for another orthogonal, under-explored theme: the training techniques for those L2O models. We show that even the simplest L2O model could have been trained much better. We first present a progressive training scheme to gradually increase the optimizer unroll length, to mitigate a well-known L2O dilemma of truncation bias (shorter unrolling) versus gradient explosion (longer unrolling). We further leverage off-policy imitation learning to guide the L2O learning, by taking reference to the behavior of analytical optimizers. Our improved training techniques are plugged into a variety of state-of-the-art L2O models, and immediately boost their performance, without making any change to their model structures. Especially, by our proposed techniques, an earliest and simplest L2O model can be trained to outperform the latest complicated L2O models on a number of tasks. Our results demonstrate a greater potential of L2O yet to be unleashed, and urge to rethink the recent progress. Our codes are publicly available at: https://github.com/VITA-Group/L2O-Training-Techniques.
• Abstract（参考訳）: L2O(Learning to Optimization)は、古典的なオプティマイザが複雑な問題固有の設計とハイパーパラメータチューニングを必要とするため、注目を集めている。 しかし、既存のL2Oモデルの実用的需要と達成可能な性能の間にはギャップがある。 特に、学習されたオプティマイザは、限られた種類の問題のみに適用でき、しばしば不安定である。 より洗練されたL2Oモデルを設計するための多くの取り組みにより、我々は、L2Oモデルのトレーニング技術である、直交的で未探索の別のテーマを論じる。 我々は、最も単純なl2oモデルでさえ、もっと良く訓練できることを示した。 まず, トランケーションバイアス(スローターアンロール)と勾配爆発(より長いアンロール)のよく知られたL2Oジレンマを軽減するために, アンロール長を徐々に増加させるプログレッシブトレーニング手法を提案する。 分析オプティマイザの振舞いを参考にして,L2O学習の指導に外部の模倣学習を活用する。 改良されたトレーニング技術は、様々な最先端のL2Oモデルにプラグインされ、モデル構造を変更することなく、即座に性能を向上します。 特に,提案手法により,複数のタスクにおいて,最新の複雑なL2Oモデルよりも高速かつ簡便なL2Oモデルを訓練することができる。 以上の結果から,L2Oは未発表であり,近年の進展を再考するよう促している。 私たちのコードは、https://github.com/VITA-Group/L2O-Training-Techniques.comで公開されています。

関連論文リスト

• Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
  近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。 ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。 一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。 本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-29T19:37:28Z)
• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)
• A Simple Guard for Learned Optimizers [0.0]
  我々はLos-Guarded L2O(LGL2O)と呼ばれる新しいセーフガード型L2Oを提案する。 保護されたL2Oは、学習したアルゴリズムを一般的な学習アルゴリズムで保護し、2つのアルゴリズムを条件的に切り替えることで、結果のアルゴリズムは確実に収束する。 LGL2Oの収束保証とGL2Oとの比較実験結果の理論的証明を示す。
  論文  参考訳（メタデータ） (2022-01-28T21:32:28Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。