論文の概要: PAC-Bayes-Chernoff bounds for unbounded losses
- arxiv url: http://arxiv.org/abs/2401.01148v3
- Date: Tue, 6 Feb 2024 10:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 19:12:39.563991
- Title: PAC-Bayes-Chernoff bounds for unbounded losses
- Title（参考訳）: 非有界損失に対するPAC-Bayes-Chernoff境界
- Authors: Ioar Casado, Luis A. Ortega, Andr\'es R. Masegosa and Aritz P\'erez
- Abstract要約: 我々は,新しいPAC-Bayesオラクルを導入する。
この結果は、Clam'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。
我々は,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
- 参考スコア（独自算出の注目度）: 1.9799527196428246
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce a new PAC-Bayes oracle bound for unbounded losses. This result
can be understood as a PAC-Bayesian version of the Cram\'er-Chernoff bound. The
proof technique relies on controlling the tails of certain random variables
involving the Cram\'er transform of the loss. We highlight several applications
of the main theorem. First, we show that our result naturally allows exact
optimization of the free parameter on many PAC-Bayes bounds. Second, we recover
and generalize previous results. Finally, we show that our approach allows
working with richer assumptions that result in more informative and potentially
tighter bounds. In this direction, we provide a general bound under a new
``model-dependent bounded CGF" assumption from which we obtain bounds based on
parameter norms and log-Sobolev inequalities. All these bounds can be minimized
to obtain novel posteriors.
- Abstract（参考訳）: 我々は,新しいPAC-Bayesオラクルを導入する。
この結果は、Cram\'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。
証明手法は、損失のCram\'er変換を含む特定のランダム変数のテールを制御することに依存する。
我々は主定理のいくつかの応用を強調する。
まず,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
第2に,これまでの結果を回復し,一般化する。
最後に、我々のアプローチはより情報的かつ潜在的に厳密な境界をもたらすリッチな仮定で作業できることを示す。
この方向において、パラメータノルムとlog-sobolevの不等式に基づいて境界を求める新しい ``model-dependent bounded cgf" 仮定の下で一般境界を与える。
これら全ての境界は、新しい後進を得るために最小化することができる。
関連論文リスト
- Tighter Generalisation Bounds via Interpolation [16.74864438507713]
本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。
また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
論文 参考訳（メタデータ） (2024-02-07T18:55:22Z) - More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity [27.87324770020133]
我々は、異なる種類の損失に対して、新しい高確率PAC-Bayes境界を提案する。
有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。
より一般的な尾の挙動を持つ損失に対して、2つの新しいパラメータフリー境界を導入する。
論文 参考訳（メタデータ） (2023-06-21T12:13:46Z) - A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。
私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
論文 参考訳（メタデータ） (2023-02-07T12:11:59Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。
標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。
異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文 参考訳（メタデータ） (2021-01-22T20:13:59Z) - On Lower Bounds for Standard and Robust Gaussian Process Bandit
Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。
本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文 参考訳（メタデータ） (2020-08-20T03:48:14Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳（メタデータ） (2020-06-26T12:37:17Z) - Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。
問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。
我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
論文 参考訳（メタデータ） (2020-06-18T17:18:02Z) - PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。
これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文 参考訳（メタデータ） (2020-06-12T15:55:46Z) - Lower bounds in multiple testing: A framework based on derandomized
proxies [107.69746750639584]
本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。
これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
論文 参考訳（メタデータ） (2020-05-07T19:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。