論文の概要: PAC-Bayes-Chernoff bounds for unbounded losses

• arxiv url: http://arxiv.org/abs/2401.01148v4
• Date: Wed, 30 Oct 2024 11:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:24:59.990388
• Title: PAC-Bayes-Chernoff bounds for unbounded losses
• Title（参考訳）: 非有界損失に対するPAC-Bayes-Chernoff境界
• Authors: Ioar Casado, Luis A. Ortega, Aritz Pérez, Andrés R. Masegosa,
• Abstract要約: PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
• 参考スコア（独自算出の注目度）: 9.987130158432755
• License:
• Abstract: We introduce a new PAC-Bayes oracle bound for unbounded losses that extends Cram\'er-Chernoff bounds to the PAC-Bayesian setting. The proof technique relies on controlling the tails of certain random variables involving the Cram\'er transform of the loss. Our approach naturally leverages properties of Cram\'er-Chernoff bounds, such as exact optimization of the free parameter in many PAC-Bayes bounds. We highlight several applications of the main theorem. Firstly, we show that our bound recovers and generalizes previous results. Additionally, our approach allows working with richer assumptions that result in more informative and potentially tighter bounds. In this direction, we provide a general bound under a new \textit{model-dependent} assumption from which we obtain bounds based on parameter norms and log-Sobolev inequalities. Notably, many of these bounds can be minimized to obtain distributions beyond the Gibbs posterior and provide novel theoretical coverage to existing regularization techniques.
• Abstract（参考訳）: PAC-Bayes Oracle bound for unbounded loss that extends Cram\'er-Chernoff bounds to the PAC-Bayesian set。 証明手法は、損失のCram\'er変換を含む特定のランダム変数のテールを制御することに依存する。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram\'er-Chernoff境界の性質を自然に活用する。 主定理のいくつかの応用を強調した。 まず, 境界が回復し, 前の結果を一般化することを示す。 さらに、私たちのアプローチでは、より情報的かつ潜在的に厳密な境界をもたらす、よりリッチな仮定で作業することが可能です。 この方向では、パラメータノルムと対数ソボレフの不等式に基づいて境界を求める新しい \textit{model-dependent} 仮定の下で一般境界を提供する。 特に、これらの境界の多くは、ギブス後方の分布を最小化して、既存の正則化技法に新しい理論的カバレッジを与えることができる。

関連論文リスト

• Tighter Generalisation Bounds via Interpolation [16.74864438507713]
  本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。 また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
  論文  参考訳（メタデータ） (2024-02-07T18:55:22Z)
• More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity [27.87324770020133]
  我々は、異なる種類の損失に対して、新しい高確率PAC-Bayes境界を提案する。 有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。 より一般的な尾の挙動を持つ損失に対して、2つの新しいパラメータフリー境界を導入する。
  論文  参考訳（メタデータ） (2023-06-21T12:13:46Z)
• A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
  PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。 私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
  論文  参考訳（メタデータ） (2023-02-07T12:11:59Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
  ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。 標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。 異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
  論文  参考訳（メタデータ） (2021-01-22T20:13:59Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
  我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。 問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。 我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
  論文  参考訳（メタデータ） (2020-06-18T17:18:02Z)
• PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
  非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。 これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
  論文  参考訳（メタデータ） (2020-06-12T15:55:46Z)
• Lower bounds in multiple testing: A framework based on derandomized proxies [107.69746750639584]
  本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。 これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
  論文  参考訳（メタデータ） (2020-05-07T19:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。