論文の概要: M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation

• arxiv url: http://arxiv.org/abs/2303.00039v1
• Date: Tue, 28 Feb 2023 19:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 17:06:13.765922
• Title: M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation
• Title（参考訳）: M-L2O:テスト時間高速自己適応による一般化学習最適化を目指して
• Authors: Junjie Yang, Xuxi Chen, Tianlong Chen, Zhangyang Wang, Yingbin Liang
• Abstract要約: L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
• 参考スコア（独自算出の注目度）: 145.7321032755538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to Optimize (L2O) has drawn increasing attention as it often remarkably accelerates the optimization procedure of complex tasks by ``overfitting" specific task type, leading to enhanced performance compared to analytical optimizers. Generally, L2O develops a parameterized optimization method (i.e., ``optimizer") by learning from solving sample problems. This data-driven procedure yields L2O that can efficiently solve problems similar to those seen in training, that is, drawn from the same ``task distribution". However, such learned optimizers often struggle when new test problems come with a substantially deviation from the training task distribution. This paper investigates a potential solution to this open challenge, by meta-training an L2O optimizer that can perform fast test-time self-adaptation to an out-of-distribution task, in only a few steps. We theoretically characterize the generalization of L2O, and further show that our proposed framework (termed as M-L2O) provably facilitates rapid task adaptation by locating well-adapted initial points for the optimizer weight. Empirical observations on several classic tasks like LASSO and Quadratic, demonstrate that M-L2O converges significantly faster than vanilla L2O with only $5$ steps of adaptation, echoing our theoretical results. Codes are available in https://github.com/VITA-Group/M-L2O.
• Abstract（参考訳）: 最適化学習(L2O)は,「オーバーフィッティング」特定のタスクタイプによって複雑なタスクの最適化手順を著しく加速し,解析最適化に比べて性能が向上するなど,注目を集めている。一般的には,サンプル問題から学習することでパラメータ化最適化手法(すなわち「最適化手法」)を開発する。 このデータ駆動プロシージャは、トレーニングで見られる問題、すなわち、同じ ``task distribution" から引き出すような問題を効率的に解決できるl2oを生成する。 しかし、そのような学習されたオプティマイザは、新しいテスト問題がトレーニングタスクの分布からかなり逸脱した時にしばしば苦労する。 本稿では,この課題に対する潜在的な解決策を,数ステップでテストタイムの自己適応が可能なl2oオプティマイザをメタトレーニングすることで検証する。 理論的に L2O の一般化を特徴付けるとともに,提案するフレームワーク (M-L2O と呼ばれる) が,最適化器の重み付けに適応した初期点の位置を求めることにより,高速なタスク適応を促進することを示す。 LASSO や Quadratic のような古典的なタスクに関する実証的な観測は、M-L2O がバニラ L2O よりもかなり早く収束し、わずか5ドル(約540円)の順応しかできないことを示した。 コードはhttps://github.com/VITA-Group/M-L2Oで入手できる。

関連論文リスト

• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
  LLMにおける推論時間計算のスケーリングについて検討する。 どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:35:05Z)
• Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
  近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。 ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。 一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。 本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-29T19:37:28Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Training Stronger Baselines for Learning to Optimize [119.35557905664832]
  最も単純なL2Oモデルであっても、より優れたトレーニングが可能であることを示します。 我々は、分析学の振る舞いを参考にして、非政治模倣学習を利用してL2O学習を指導する。 改良されたトレーニング技術は、様々な最先端のL2Oモデルにプラグインされ、即座に性能が向上する。
  論文  参考訳（メタデータ） (2020-10-18T20:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。