論文の概要: A Simple Guard for Learned Optimizers

• arxiv url: http://arxiv.org/abs/2201.12426v1
• Date: Fri, 28 Jan 2022 21:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 20:02:15.620357
• Title: A Simple Guard for Learned Optimizers
• Title（参考訳）: 学習最適化のための簡易ガード
• Authors: Isabeau Pr\'emont-Schwarz, Jaroslav V\'itk\r{u}, Jan Feyereisl
• Abstract要約: 我々はLos-Guarded L2O(LGL2O)と呼ばれる新しいセーフガード型L2Oを提案する。 保護されたL2Oは、学習したアルゴリズムを一般的な学習アルゴリズムで保護し、2つのアルゴリズムを条件的に切り替えることで、結果のアルゴリズムは確実に収束する。 LGL2Oの収束保証とGL2Oとの比較実験結果の理論的証明を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: If the trend of learned components eventually outperforming their hand-crafted version continues, learned optimizers will eventually outperform hand-crafted optimizers like SGD or Adam. Even if learned optimizers (L2Os) eventually outpace hand-crafted ones in practice however, they are still not provably convergent and might fail out of distribution. These are the questions addressed here. Currently, learned optimizers frequently outperform generic hand-crafted optimizers (such as gradient descent) at the beginning of learning but they generally plateau after some time while the generic algorithms continue to make progress and often overtake the learned algorithm as Aesop's tortoise which overtakes the hare and are not. L2Os also still have a difficult time generalizing out of distribution. (Heaton et al., 2020) proposed Safeguarded L2O (GL2O) which can take a learned optimizer and safeguard it with a generic learning algorithm so that by conditionally switching between the two, the resulting algorithm is provably convergent. We propose a new class of Safeguarded L2O, called Loss-Guarded L2O (LGL2O), which is both conceptually simpler and computationally less expensive. The guarding mechanism decides solely based on the expected future loss value of both optimizers. Furthermore, we show theoretical proof of LGL2O's convergence guarantee and empirical results comparing to GL2O and other baselines showing that it combines the best of both L2O and SGD and and in practice converges much better than GL2O.
• Abstract（参考訳）: 学習したコンポーネントの傾向が最終的に手作りバージョンを上回り続けるなら、学習したオプティマイザは最終的にはSGDやAdamのような手作りのオプティマイザを上回る。 しかし、たとえ学習したオプティマイザ(L2Os)が最終的に手作りのものよりも優れているとしても、それらは証明可能な収束性はなく、分布に失敗する可能性がある。 これらの質問はここで取り上げている。 現在、学習オプティマイザは、学習の開始時に、一般的な手作りのオプティマイザ(勾配降下など)をしばしば上回っていますが、一般的には、ジェネリックアルゴリズムが進歩を続けながら、学習したアルゴリズムをaesopのtortoiseとして上回っており、hareを上回っており、そうでない。 L2Osはまた、分布から一般化するのが難しい。 (heaton et al., 2020)は、学習したオプティマイザをジェネリックな学習アルゴリズムで保護し、2つのアルゴリズムを条件付きで切り替えることで、結果として得られるアルゴリズムが確実に収束するように保護されたl2o(gl2o)を提案した。 L2O(Los-Guarded L2O)と呼ばれる新しいセーフガード型L2O(Los-Guarded L2O)を提案する。 ガード機構は、両オプティマイザの期待損失値のみに基づいて決定する。 さらに,lgl2o の収束保証の理論的証明と gl2o や他のベースラインと比較し,l2o と sgd を最もよく組み合わせ,実際 gl2o よりも収束することを示す実験結果を示す。

関連論文リスト

• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Training Stronger Baselines for Learning to Optimize [119.35557905664832]
  最も単純なL2Oモデルであっても、より優れたトレーニングが可能であることを示します。 我々は、分析学の振る舞いを参考にして、非政治模倣学習を利用してL2O学習を指導する。 改良されたトレーニング技術は、様々な最先端のL2Oモデルにプラグインされ、即座に性能が向上する。
  論文  参考訳（メタデータ） (2020-10-18T20:05:48Z)
• Safeguarded Learned Convex Optimization [106.81731132086851]
  解析最適化アルゴリズムは、反復的な方法で問題を確実に解くために手作業で設計することができる。 データ駆動アルゴリズムは、汎用最適化アルゴリズムと同様のイテレーション当たりのコストと、はるかに少ないイテレーションで"L2O"を最適化する。 我々はこれらのアプローチの利点を融合させるSafe-L2Oフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T04:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。