論文の概要: Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation
- arxiv url: http://arxiv.org/abs/2404.03290v1
- Date: Thu, 4 Apr 2024 08:24:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 15:24:04.203685
- Title: Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation
- Title（参考訳）: PAC-Bayesian Guaranteesによる学習と最適化:理論的考察と実践
- Authors: Michael Sucker, Jalal Fadili, Peter Ochs,
- Abstract要約: 最適学習の設定にはPAC-ベイズ理論を用いる。
証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。
学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
- 参考スコア（独自算出の注目度）: 4.239829789304117
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We use the PAC-Bayesian theory for the setting of learning-to-optimize. To the best of our knowledge, we present the first framework to learn optimization algorithms with provable generalization guarantees (PAC-Bayesian bounds) and explicit trade-off between convergence guarantees and convergence speed, which contrasts with the typical worst-case analysis. Our learned optimization algorithms provably outperform related ones derived from a (deterministic) worst-case analysis. The results rely on PAC-Bayesian bounds for general, possibly unbounded loss-functions based on exponential families. Then, we reformulate the learning procedure into a one-dimensional minimization problem and study the possibility to find a global minimum. Furthermore, we provide a concrete algorithmic realization of the framework and new methodologies for learning-to-optimize, and we conduct four practically relevant experiments to support our theory. With this, we showcase that the provided learning framework yields optimization algorithms that provably outperform the state-of-the-art by orders of magnitude.
- Abstract（参考訳）: 我々は、学習と最適化の設定にPAC-ベイズ理論を用いる。
我々の知る限り、我々は最適化アルゴリズムを証明可能な一般化保証(PAC-Bayesian bounds)で学習し、収束保証と収束速度の明確なトレードオフを明示する最初のフレームワークを提示する。
学習した最適化アルゴリズムは、(決定論的)最悪のケース分析から導出した関連アルゴリズムよりも確実に優れている。
結果は一般にPAC-ベイズ境界に依存しており、指数族に基づく非有界な損失函数である。
そして,学習手順を1次元の最小化問題に再構成し,世界最小化の可能性を検討する。
さらに,本フレームワークの具体的アルゴリズム化と学習・最適化のための新しい手法を提供し,本理論を支援するために4つの実践的な実験を行った。
これにより,提案した学習フレームワークが,最先端のアルゴリズムを桁違いに向上させる最適化アルゴリズムを実現できることを示す。
関連論文リスト
- Learning via Surrogate PAC-Bayes [13.412960492870996]
PAC-Bayes学習は、学習アルゴリズムの一般化能力を研究するための包括的な設定である。
本稿では,一連の代理学習目標を最適化することで,反復学習アルゴリズムを構築するための新しい原則的戦略を提案する。
PAC-Bayes境界による学習の一般的なレシピを提供するのに加えて、(i)サロゲートの反復最適化が元の一般化境界の最適化を意味することを示す理論的結果を提供する。
論文 参考訳（メタデータ） (2024-10-14T07:45:50Z) - A Generalization Result for Convergence in Learning-to-Optimize [4.112909937203119]
最適化における従来の収束保証は幾何学的引数に基づいており、アルゴリズムには適用できない。
私たちは、私たちの知識のベストを証明する最初の人であり、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。
論文 参考訳（メタデータ） (2024-10-10T08:17:04Z) - Data-Driven Performance Guarantees for Classical and Learned Optimizers [2.0403774954994858]
連続最適化アルゴリズムの性能を解析するためのデータ駆動型手法を提案する。
パラメトリック最適化問題のファミリーを解くために古典と学習を研究した。
論文 参考訳（メタデータ） (2024-04-22T02:06:35Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - Multivariate Systemic Risk Measures and Computation by Deep Learning
Algorithms [63.03966552670014]
本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。
私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
論文 参考訳（メタデータ） (2023-02-02T22:16:49Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
PAC-Bayes理論を学習最適化の設定に適用する。
証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。
この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
論文 参考訳（メタデータ） (2022-10-20T09:16:36Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。