Fugu-MT 論文翻訳(概要): Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation

論文の概要: Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation

arxiv url: http://arxiv.org/abs/2304.07048v2
Date: Tue, 30 May 2023 11:04:12 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 01:00:15.966710
Title: Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation
Title（参考訳）: Wasserstein PAC-Bayes の学習: 一般化を説明するための最適化のエクスプロイト
Authors: Maxime Haddouche and Benjamin Guedj
Abstract要約: 我々は、通常のKLに置き換わるワッサーシュタイン距離を持つ新しいPAC-Bayes境界を開発する。我々は、その最適化特性を利用して、emphBures-Wasserstein SGD に対する一般化境界を提供する。
参考スコア（独自算出の注目度）: 5.799808780731661
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: PAC-Bayes learning is an established framework to both assess the generalisation ability of learning algorithms, and design new learning algorithm by exploiting generalisation bounds as training objectives. Most of the exisiting bounds involve a \emph{Kullback-Leibler} (KL) divergence, which fails to capture the geometric properties of the loss function which are often useful in optimisation. We address this by extending the emerging \emph{Wasserstein PAC-Bayes} theory. We develop new PAC-Bayes bounds with Wasserstein distances replacing the usual KL, and demonstrate that sound optimisation guarantees translate to good generalisation abilities. In particular we provide generalisation bounds for the \emph{Bures-Wasserstein SGD} by exploiting its optimisation properties.
Abstract（参考訳）: PAC-Bayes学習は、学習アルゴリズムの一般化能力を評価するための確立されたフレームワークであり、一般化境界を訓練目的として活用して新しい学習アルゴリズムを設計する。 kl の発散は、最適化においてしばしば有用である損失関数の幾何学的性質を捉えるのに失敗する。この問題に対処するために、新興の \emph{Wasserstein PAC-Bayes} 理論を拡張する。我々は、通常のKLに代わるワッサーシュタイン距離を持つ新しいPAC-Bayes境界を開発し、音の最適化が優れた一般化能力に変換できることを実証する。特に、最適化特性を利用して \emph{Bures-Wasserstein SGD} に対する一般化境界を提供する。

関連論文リスト

Learning via Surrogate PAC-Bayes [13.412960492870996]
PAC-Bayes学習は、学習アルゴリズムの一般化能力を研究するための包括的な設定である。本稿では,一連の代理学習目標を最適化することで,反復学習アルゴリズムを構築するための新しい原則的戦略を提案する。 PAC-Bayes境界による学習の一般的なレシピを提供するのに加えて、(i)サロゲートの反復最適化が元の一般化境界の最適化を意味することを示す理論的結果を提供する。
論文参考訳（メタデータ） (2024-10-14T07:45:50Z)
Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
最適学習の設定にはPAC-ベイズ理論を用いる。証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
論文参考訳（メタデータ） (2024-04-04T08:24:57Z)
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
Skipperはモデルベースの強化学習フレームワークである。これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
論文参考訳（メタデータ） (2023-09-30T02:25:18Z)
PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
PAC-Bayes理論を学習最適化の設定に適用する。証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
論文参考訳（メタデータ） (2022-10-20T09:16:36Z)
Near-Optimal No-Regret Learning for General Convex Games [121.50979258049135]
一般凸およびコンパクト戦略集合に対して後悔が得られることを示す。我々の力学は、適度にエンハンリフトされた空間上の楽観的な従順化バウンドのインスタンス化にある。先行結果が適用される特殊な場合であっても、我々のアルゴリズムは最先端の後悔よりも改善される。
論文参考訳（メタデータ） (2022-06-17T12:58:58Z)
Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。性能は不特定な事前条件で優雅に低下することを示す。
論文参考訳（メタデータ） (2021-07-03T23:17:26Z)
A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文参考訳（メタデータ） (2021-02-17T09:36:46Z)
PAC-BUS: Meta-Learning Bounds via PAC-Bayes and Uniform Stability [3.42658286826597]
我々は2つの異なる一般化レベルを用いた安定なメタラーニングのためのおそらく正解(PAC)を導出する。境界がベースラインレベルにある設定で境界によって動機づけられる実用的な正規化スキームを提示する。
論文参考訳（メタデータ） (2021-02-12T15:57:45Z)
Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文参考訳（メタデータ） (2020-08-18T04:34:21Z)
Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms [95.73230376153872]
本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
論文参考訳（メタデータ） (2020-07-18T09:12:03Z)
PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。