論文の概要: A Generalization Result for Convergence in Learning-to-Optimize

• arxiv url: http://arxiv.org/abs/2410.07704v1
• Date: Thu, 10 Oct 2024 08:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:25:43.562711
• Title: A Generalization Result for Convergence in Learning-to-Optimize
• Title（参考訳）: 学習と最適化における収束の一般化結果
• Authors: Michael Sucker, Peter Ochs,
• Abstract要約: 最適化における従来の収束保証は幾何学的引数に基づいており、アルゴリズムには適用できない。 私たちは、私たちの知識のベストを証明する最初の人であり、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。
• 参考スコア（独自算出の注目度）: 4.112909937203119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convergence in learning-to-optimize is hardly studied, because conventional convergence guarantees in optimization are based on geometric arguments, which cannot be applied easily to learned algorithms. Thus, we develop a probabilistic framework that resembles deterministic optimization and allows for transferring geometric arguments into learning-to-optimize. Our main theorem is a generalization result for parametric classes of potentially non-smooth, non-convex loss functions and establishes the convergence of learned optimization algorithms to stationary points with high probability. This can be seen as a statistical counterpart to the use of geometric safeguards to ensure convergence. To the best of our knowledge, we are the first to prove convergence of optimization algorithms in such a probabilistic framework.
• Abstract（参考訳）: 従来の収束保証は幾何学的引数に基づいており、学習アルゴリズムに容易に適用できないため、学習と最適化の収束についてはほとんど研究されていない。 そこで我々は、決定論的最適化に類似した確率的フレームワークを開発し、幾何学的引数を学習から最適化へ転送することを可能にする。 我々の主定理は、潜在的に非滑らかで非凸な損失関数のパラメトリック類に対する一般化結果であり、学習された最適化アルゴリズムを高い確率で定常点に収束させる。 これは、収束を保証するための幾何学的安全ガードの使用と統計的に相反すると見なすことができる。 我々の知る限りでは、このような確率的フレームワークで最適化アルゴリズムの収束を証明するのはこれが初めてである。

関連論文リスト

• Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
  最適学習の設定にはPAC-ベイズ理論を用いる。 証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。 学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
  論文  参考訳（メタデータ） (2024-04-04T08:24:57Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Asymptotic convergence of iterative optimization algorithms [1.6328866317851185]
  本稿では,反復最適化アルゴリズムの一般的なフレームワークを紹介する。 適切な仮定の下では、収束率を低くすることができる。 私たちは正確な収束率を提供します。
  論文  参考訳（メタデータ） (2023-02-24T09:58:56Z)
• Multivariate Systemic Risk Measures and Computation by Deep Learning Algorithms [63.03966552670014]
  本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。 私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
  論文  参考訳（メタデータ） (2023-02-02T22:16:49Z)
• PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
  PAC-Bayes理論を学習最適化の設定に適用する。 証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。 この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
  論文  参考訳（メタデータ） (2022-10-20T09:16:36Z)
• Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares [68.8204255655161]
  非最適化近似問題を考える。 本稿では,最優先計算を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-11T09:37:04Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。