論文の概要: PAC-Bayesian Learning of Optimization Algorithms
- arxiv url: http://arxiv.org/abs/2210.11113v1
- Date: Thu, 20 Oct 2022 09:16:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 13:58:19.138776
- Title: PAC-Bayesian Learning of Optimization Algorithms
- Title（参考訳）: 最適化アルゴリズムのpac-ベイズ学習
- Authors: Michael Sucker and Peter Ochs
- Abstract要約: PAC-Bayes理論を学習最適化の設定に適用する。
証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。
この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
- 参考スコア（独自算出の注目度）: 6.624726878647541
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We apply the PAC-Bayes theory to the setting of learning-to-optimize. To the
best of our knowledge, we present the first framework to learn optimization
algorithms with provable generalization guarantees (PAC-bounds) and explicit
trade-off between a high probability of convergence and a high convergence
speed. Even in the limit case, where convergence is guaranteed, our learned
optimization algorithms provably outperform related algorithms based on a
(deterministic) worst-case analysis. Our results rely on PAC-Bayes bounds for
general, unbounded loss-functions based on exponential families. By
generalizing existing ideas, we reformulate the learning procedure into a
one-dimensional minimization problem and study the possibility to find a global
minimum, which enables the algorithmic realization of the learning procedure.
As a proof-of-concept, we learn hyperparameters of standard optimization
algorithms to empirically underline our theory.
- Abstract（参考訳）: PAC-Bayes理論を学習最適化の設定に適用する。
最善の知識を得るために,我々は,証明可能な一般化保証(pac境界)と高い収束確率と高い収束速度との明示的なトレードオフを用いた最適化アルゴリズムを学習する最初のフレームワークを提案する。
収束が保証される極限の場合においても、学習した最適化アルゴリズムは、(決定論的)最悪のケース分析に基づいて、関連するアルゴリズムを確実に上回ります。
結果は指数関数族に基づく一般の非有界損失関数に対するpac-bayes境界に依存する。
既存のアイデアを一般化することにより,学習手順を1次元の最小化問題に再構成し,学習手順のアルゴリズム的実現を可能にするグローバル最小化の可能性を検討する。
概念実証として、我々は標準最適化アルゴリズムのハイパーパラメータを学習し、経験的に理論の基礎となる。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - Learning via Surrogate PAC-Bayes [13.412960492870996]
PAC-Bayes学習は、学習アルゴリズムの一般化能力を研究するための包括的な設定である。
本稿では,一連の代理学習目標を最適化することで,反復学習アルゴリズムを構築するための新しい原則的戦略を提案する。
PAC-Bayes境界による学習の一般的なレシピを提供するのに加えて、(i)サロゲートの反復最適化が元の一般化境界の最適化を意味することを示す理論的結果を提供する。
論文 参考訳（メタデータ） (2024-10-14T07:45:50Z) - A Generalization Result for Convergence in Learning-to-Optimize [4.112909937203119]
最適化における従来の収束保証は幾何学的引数に基づいており、アルゴリズムには適用できない。
私たちは、私たちの知識のベストを証明する最初の人であり、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。
論文 参考訳（メタデータ） (2024-10-10T08:17:04Z) - Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
最適学習の設定にはPAC-ベイズ理論を用いる。
証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。
学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
論文 参考訳（メタデータ） (2024-04-04T08:24:57Z) - Bayesian Design Principles for Frequentist Sequential Learning [11.421942894219901]
逐次学習問題に対する頻繁な後悔を最適化する理論を開発する。
各ラウンドで「アルゴリズム的信念」を生成するための新しい最適化手法を提案する。
本稿では,マルチアームバンディットの「ベスト・オブ・オール・ワールド」な経験的性能を実現するための新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-01T22:17:37Z) - Multivariate Systemic Risk Measures and Computation by Deep Learning
Algorithms [63.03966552670014]
本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。
私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
論文 参考訳（メタデータ） (2023-02-02T22:16:49Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - B\'ezier Flow: a Surface-wise Gradient Descent Method for
Multi-objective Optimization [12.487037582320804]
確率近似学習(PAC)における最適化アルゴリズムの安定性を向上する。
勾配勾配勾配に基づく単目的最適化アルゴリズムから導かれる多目的最適化アルゴリズムはPAC安定であることを示す。
論文 参考訳（メタデータ） (2022-05-23T07:47:58Z) - Uniform-PAC Bounds for Reinforcement Learning with Linear Function
Approximation [92.3161051419884]
線形関数近似を用いた強化学習について検討する。
既存のアルゴリズムは、高い確率的後悔と/またはおよそ正当性(PAC)サンプルの複雑さの保証しか持たない。
我々はFLUTEと呼ばれる新しいアルゴリズムを提案し、高い確率で最適ポリシーへの均一PAC収束を享受する。
論文 参考訳（メタデータ） (2021-06-22T08:48:56Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。