論文の概要: A unified recipe for deriving (time-uniform) PAC-Bayes bounds
- arxiv url: http://arxiv.org/abs/2302.03421v5
- Date: Wed, 3 Jan 2024 18:32:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 17:21:33.943752
- Title: A unified recipe for deriving (time-uniform) PAC-Bayes bounds
- Title（参考訳）: PAC-Bayes境界の導出のための統一的レシピ
- Authors: Ben Chugg, Hongjian Wang, Aaditya Ramdas
- Abstract要約: PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。
私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
- 参考スコア（独自算出の注目度）: 31.921092049934654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a unified framework for deriving PAC-Bayesian generalization
bounds. Unlike most previous literature on this topic, our bounds are
anytime-valid (i.e., time-uniform), meaning that they hold at all stopping
times, not only for a fixed sample size. Our approach combines four tools in
the following order: (a) nonnegative supermartingales or reverse
submartingales, (b) the method of mixtures, (c) the Donsker-Varadhan formula
(or other convex duality principles), and (d) Ville's inequality. Our main
result is a PAC-Bayes theorem which holds for a wide class of discrete
stochastic processes. We show how this result implies time-uniform versions of
well-known classical PAC-Bayes bounds, such as those of Seeger, McAllester,
Maurer, and Catoni, in addition to many recent bounds. We also present several
novel bounds. Our framework also enables us to relax traditional assumptions;
in particular, we consider nonstationary loss functions and non-i.i.d. data. In
sum, we unify the derivation of past bounds and ease the search for future
bounds: one may simply check if our supermartingale or submartingale conditions
are met and, if so, be guaranteed a (time-uniform) PAC-Bayes bound.
- Abstract（参考訳）: PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。
この話題に関する他の文献とは異なり、我々の境界は任意の時効(すなわち、時間ユニフォーム)であり、固定されたサンプルサイズだけでなく、常に停止時間を保持することを意味する。
私たちのアプローチは以下の順に4つのツールを組み合わせています。
a)非負のスーパーマリンタレスまたは逆サブマリンタレス
(b)混合物の方法
(c)Donsker-Varadhan式(または他の凸双対性原理)
(d) ヴィルの不平等。
我々の主な成果は、離散確率過程の幅広いクラスに対応するPAC-Bayes定理である。
この結果は、シーガー、マクレスター、マウラー、カトニといった有名な古典的PAC-ベイズ境界の時間一様版と最近の多くの境界に加えてどのように意味するかを示す。
いくつかの新しい境界も提示する。
我々はまた,従来の仮定,特に非定常損失関数と非定常損失関数を緩和することを可能にする。
つまり、過去の境界の導出を統一し、将来の境界の探索を容易にする: スーパーマーチンゲールまたはサブマーチンゲール条件が満たされているかどうかを単にチェックし、もしそうであれば(時間一様)pac-bayesバウンドを保証できる。
関連論文リスト
- Better-than-KL PAC-Bayes Bounds [23.87003743389573]
我々は,新しいKLの分岐と密接な結びつきを達成できることを実証した。
我々の結果は、既存のPAC-Bayes境界と非KL分岐は、KLよりも厳密に優れていることが分かっていないという点において、第一種である。
論文 参考訳（メタデータ） (2024-02-14T14:33:39Z) - PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。
我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
論文 参考訳（メタデータ） (2024-01-02T10:58:54Z) - Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。
Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
論文 参考訳（メタデータ） (2023-02-02T18:59:30Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - How Tight Can PAC-Bayes be in the Small Data Regime? [39.15172162668061]
PAC-Bayesとテストセット境界は、小さなデータセットに対して作成できる。
PAC-Bayes境界は、よく用いられるチャーノフテストセット境界と驚くほど競合することを示した。
最もシャープなテストセット境界は、我々が考慮しているPAC-Bayes境界よりも、一般化誤差のより良い保証につながる。
論文 参考訳（メタデータ） (2021-06-07T12:11:32Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳（メタデータ） (2020-06-26T12:37:17Z) - A Limitation of the PAC-Bayes Framework [32.24251308425503]
我々はPAC-Bayesフレームワークの制限を提示する。
PAC-Bayes解析には適さない簡単な学習課題を実演する。
論文 参考訳（メタデータ） (2020-06-24T06:36:00Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳（メタデータ） (2020-06-23T14:30:24Z) - Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。
問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。
我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
論文 参考訳（メタデータ） (2020-06-18T17:18:02Z) - Best Arm Identification for Cascading Bandits in the Fixed Confidence
Setting [81.70513857417106]
CascadeBAIを設計し、分析する。これは、$K$アイテムのベストセットを見つけるアルゴリズムである。
CascadeBAIの時間的複雑さの上限は、決定的な分析課題を克服することによって導かれる。
その結果,カスケードBAIの性能は,時間的複雑性の低い境界の導出により,いくつかの実践的状況において最適であることが示唆された。
論文 参考訳（メタデータ） (2020-01-23T16:47:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。