論文の概要: PAC-Bayes-Chernoff bounds for unbounded losses
- arxiv url: http://arxiv.org/abs/2401.01148v3
- Date: Tue, 6 Feb 2024 10:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 19:12:39.563991
- Title: PAC-Bayes-Chernoff bounds for unbounded losses
- Title（参考訳）: 非有界損失に対するPAC-Bayes-Chernoff境界
- Authors: Ioar Casado, Luis A. Ortega, Andr\'es R. Masegosa and Aritz P\'erez
- Abstract要約: 我々は,新しいPAC-Bayesオラクルを導入する。
この結果は、Clam'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。
我々は,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
- 参考スコア（独自算出の注目度）: 1.9799527196428246
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce a new PAC-Bayes oracle bound for unbounded losses. This result
can be understood as a PAC-Bayesian version of the Cram\'er-Chernoff bound. The
proof technique relies on controlling the tails of certain random variables
involving the Cram\'er transform of the loss. We highlight several applications
of the main theorem. First, we show that our result naturally allows exact
optimization of the free parameter on many PAC-Bayes bounds. Second, we recover
and generalize previous results. Finally, we show that our approach allows
working with richer assumptions that result in more informative and potentially
tighter bounds. In this direction, we provide a general bound under a new
``model-dependent bounded CGF" assumption from which we obtain bounds based on
parameter norms and log-Sobolev inequalities. All these bounds can be minimized
to obtain novel posteriors.
- Abstract（参考訳）: 我々は,新しいPAC-Bayesオラクルを導入する。
この結果は、Cram\'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。
証明手法は、損失のCram\'er変換を含む特定のランダム変数のテールを制御することに依存する。
我々は主定理のいくつかの応用を強調する。
まず,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
第2に,これまでの結果を回復し,一般化する。
最後に、我々のアプローチはより情報的かつ潜在的に厳密な境界をもたらすリッチな仮定で作業できることを示す。
この方向において、パラメータノルムとlog-sobolevの不等式に基づいて境界を求める新しい ``model-dependent bounded cgf" 仮定の下で一般境界を与える。
これら全ての境界は、新しい後進を得るために最小化することができる。
関連論文リスト
- Closing the Gap Between the Upper Bound and the Lower Bound of Adam's
Iteration Complexity [51.96093077151991]
我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。
本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
論文 参考訳（メタデータ） (2023-10-27T09:16:58Z) - More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity [27.87324770020133]
我々は、異なる種類の損失に対して、新しい高確率PAC-Bayes境界を提案する。
有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。
より一般的な尾の挙動を持つ損失に対して、2つの新しいパラメータフリー境界を導入する。
論文 参考訳（メタデータ） (2023-06-21T12:13:46Z) - A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。
私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
論文 参考訳（メタデータ） (2023-02-07T12:11:59Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - A Fully Problem-Dependent Regret Lower Bound for Finite-Horizon MDPs [117.82903457289584]
有限水平マルコフ決定過程(MDPs)における新たな問題依存的下界を導出する。
我々の下界は一般の場合よりもかなり小さく、最小の作用ギャップでスケールしないことが示される。
この最後の結果($poly(H)$の条件で、$H$は地平線である)は、楽観的なアルゴリズムのポリシーギャップに基づいて、後悔の意を表すことによって達成可能であることを示す。
論文 参考訳（メタデータ） (2021-06-24T13:46:09Z) - How Tight Can PAC-Bayes be in the Small Data Regime? [39.15172162668061]
PAC-Bayesとテストセット境界は、小さなデータセットに対して作成できる。
PAC-Bayes境界は、よく用いられるチャーノフテストセット境界と驚くほど競合することを示した。
最もシャープなテストセット境界は、我々が考慮しているPAC-Bayes境界よりも、一般化誤差のより良い保証につながる。
論文 参考訳（メタデータ） (2021-06-07T12:11:32Z) - Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。
標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。
異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文 参考訳（メタデータ） (2021-01-22T20:13:59Z) - On Lower Bounds for Standard and Robust Gaussian Process Bandit
Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。
本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文 参考訳（メタデータ） (2020-08-20T03:48:14Z) - Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。
問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。
我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
論文 参考訳（メタデータ） (2020-06-18T17:18:02Z) - PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。
これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文 参考訳（メタデータ） (2020-06-12T15:55:46Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。