論文の概要: Wasserstein PAC-Bayes Learning: A Bridge Between Generalisation and
Optimisation
- arxiv url: http://arxiv.org/abs/2304.07048v1
- Date: Fri, 14 Apr 2023 10:48:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 13:55:52.076743
- Title: Wasserstein PAC-Bayes Learning: A Bridge Between Generalisation and
Optimisation
- Title(参考訳): Wasserstein PAC-Bayes Learning: 一般化と最適化の橋渡し
- Authors: Maxime Haddouche and Benjamin Guedj
- Abstract要約: PAC-Bayesは、トレーニングフェーズにおける学習アルゴリズムの一般化能力を評価するためのフレームワークである。
損失関数の幾何学的仮定を利用した新しい一般化境界を導入する。
本研究では,PAC-Bayesと最適化アルゴリズムの橋渡しにより,最適化結果を一般化フレームワークに組み込むことが可能であることを示す。
- 参考スコア(独自算出の注目度): 5.799808780731661
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: PAC-Bayes learning is an established framework to assess the generalisation
ability of learning algorithm during the training phase. However, it remains
challenging to know whether PAC-Bayes is useful to understand, before training,
why the output of well-known algorithms generalise well. We positively answer
this question by expanding the \emph{Wasserstein PAC-Bayes} framework, briefly
introduced in \cite{amit2022ipm}. We provide new generalisation bounds
exploiting geometric assumptions on the loss function. Using our framework, we
prove, before any training, that the output of an algorithm from
\citet{lambert2022variational} has a strong asymptotic generalisation ability.
More precisely, we show that it is possible to incorporate optimisation results
within a generalisation framework, building a bridge between PAC-Bayes and
optimisation algorithms.
- Abstract(参考訳): PAC-Bayes学習は、学習段階における学習アルゴリズムの一般化能力を評価するための確立されたフレームワークである。
しかしながら、PAC-Bayesが学習前に、なぜよく知られたアルゴリズムの出力がうまく一般化されるのかを理解するのに有用かを知ることは依然として困難である。
我々は \cite{amit2022ipm} に簡潔に導入された \emph{wasserstein pac-bayes} フレームワークを拡張して、この質問に答える。
損失関数の幾何学的仮定を利用した新しい一般化境界を提供する。
我々のフレームワークを用いて、任意のトレーニングの前に、 \citet{lambert2022variational} からのアルゴリズムの出力が強い漸近的一般化能力を持つことを証明する。
より正確には、最適化結果を一般化フレームワークに組み込むことができ、PAC-Bayesと最適化アルゴリズムのブリッジを構築することができる。
関連論文リスト
- Learning via Surrogate PAC-Bayes [13.412960492870996]
PAC-Bayes学習は、学習アルゴリズムの一般化能力を研究するための包括的な設定である。
本稿では,一連の代理学習目標を最適化することで,反復学習アルゴリズムを構築するための新しい原則的戦略を提案する。
PAC-Bayes境界による学習の一般的なレシピを提供するのに加えて、(i)サロゲートの反復最適化が元の一般化境界の最適化を意味することを示す理論的結果を提供する。
論文 参考訳(メタデータ) (2024-10-14T07:45:50Z) - Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
最適学習の設定にはPAC-ベイズ理論を用いる。
証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。
学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
論文 参考訳(メタデータ) (2024-04-04T08:24:57Z) - Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
Skipperはモデルベースの強化学習フレームワークである。
これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。
環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
論文 参考訳(メタデータ) (2023-09-30T02:25:18Z) - PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
PAC-Bayes理論を学習最適化の設定に適用する。
証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。
この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
論文 参考訳(メタデータ) (2022-10-20T09:16:36Z) - Near-Optimal No-Regret Learning for General Convex Games [121.50979258049135]
一般凸およびコンパクト戦略集合に対して後悔が得られることを示す。
我々の力学は、適度にエンハンリフトされた空間上の楽観的な従順化バウンドのインスタンス化にある。
先行結果が適用される特殊な場合であっても、我々のアルゴリズムは最先端の後悔よりも改善される。
論文 参考訳(メタデータ) (2022-06-17T12:58:58Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳(メタデータ) (2021-07-03T23:17:26Z) - A General Framework for the Practical Disintegration of PAC-Bayesian
Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。
我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文 参考訳(メタデータ) (2021-02-17T09:36:46Z) - PAC-BUS: Meta-Learning Bounds via PAC-Bayes and Uniform Stability [3.42658286826597]
我々は2つの異なる一般化レベルを用いた安定なメタラーニングのためのおそらく正解(PAC)を導出する。
境界がベースラインレベルにある設定で境界によって動機づけられる実用的な正規化スキームを提示する。
論文 参考訳(メタデータ) (2021-02-12T15:57:45Z) - Provably Efficient Reward-Agnostic Navigation with Linear Value
Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。
そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2020-08-18T04:34:21Z) - Tighter Generalization Bounds for Iterative Differentially Private
Learning Algorithms [95.73230376153872]
本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。
我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。
次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
論文 参考訳(メタデータ) (2020-07-18T09:12:03Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳(メタデータ) (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。