論文の概要: Smoothness-Based Derandomization of PAC-Bayes Bounds

• arxiv url: http://arxiv.org/abs/2606.19105v1
• Date: Wed, 17 Jun 2026 14:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.197752
• Title: Smoothness-Based Derandomization of PAC-Bayes Bounds
• Title（参考訳）: 平滑性に基づくPAC-Bayes境界の非ランダム化
• Authors: Alexandre Lemire Paquin, Brahim Chaib-Draa, Philippe Giguère,
• Abstract要約: 滑らかな損失関数に対するPAC-Bayesデランドマイゼーションについて検討した。 我々は,ギブス予測器から後方平均における決定論的予測器への非有界通過に正確なコストがかかることを示した。 結果は線形予測器やスムーズなニューラルネットワークに特化する。
• 参考スコア（独自算出の注目度）: 48.06655334157014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study PAC-Bayes derandomization for smooth loss functions. Our goal is to obtain generalization bounds that hold with high probability for deterministic predictors by exploiting smoothness properties of both the loss and the predictor class. We show that passing from the Gibbs predictor to the deterministic predictor at the posterior mean has a precise cost, given by the generalization gap of the Jensen gap class. We control this class through its Rademacher complexity, leading to bounds for deterministic predictors that involve flatness quantities expressed in terms of parameter Jacobians and Hessians of the score map. The framework applies to both bounded and unbounded smooth loss functions, and we specialize the results to linear predictors and smooth neural networks. Finally, the Jacobian and Hessian quantities appearing in the theory motivate a practical regularizer. For BatchNorm networks, we compute this regularizer with respect to effective BatchNorm weights obtained by folding the BatchNorm transformation into the adjacent affine weights. Experiments on CIFAR-10 illustrate the behavior of this regularizer under different batch sizes.
• Abstract（参考訳）: 滑らかな損失関数に対するPAC-Bayesデランドマイゼーションについて検討した。 我々のゴールは、損失と予測クラスの両方の滑らかさ特性を利用して、決定論的予測器の確率の高い一般化境界を得ることである。 本稿では,Gibs予測器から後進平均における決定論的予測器への遷移は,Jensenギャップクラスの一般化ギャップにより,正確なコストが与えられることを示す。 我々は、このクラスをRademacher複雑性によって制御し、スコアマップのパラメータヤコビアンとヘシアンで表される平坦度量を含む決定論的予測器のバウンダとなる。 このフレームワークは、有界および非有界な滑らかな損失関数の両方に適用し、線形予測器と滑らかなニューラルネットワークに結果を特殊化する。 最後に、この理論に現れるヤコビアン量とヘッセン量は、実用的な正則化子を動機付けている。 BatchNorm ネットワークに対して、BatchNorm 変換を隣接するアフィン重に折り畳んだ実効的な BatchNorm 重みについて、この正規化器を計算する。 CIFAR-10の実験では、異なるバッチサイズでのこの正規化器の挙動が示されている。

関連論文リスト

• On the Role of Batch Size in Stochastic Conditional Gradient Methods [51.97510367368799]
  条件勾配法におけるバッチサイズの役割を,$-KL条件下で検討した。 バッチサイズの増加は、当初は最適化の精度を向上するが、重要なしきい値を超えると、固定トークン予算の下でのメリットと飽和度は、パフォーマンスを劣化させる可能性がある。
  論文  参考訳（メタデータ） (2026-03-22T12:23:41Z)
• Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features [9.140494844209336]
  本稿では,前・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・ 以上の結果から,下部および上部の予測エンベロープに対して,明示的かつトラクタブルな境界を導出する。
  論文  参考訳（メタデータ） (2026-02-22T10:50:04Z)
• A principled framework for uncertainty decomposition in TabPFN [3.1500610747796376]
  本研究では,TabPFNにおける不確実性分解法を提案する。 予測更新のボラティリティによって決定される分散推定器をコンテキストに沿って導出する。 分類のためにエントロピーに基づく不確実性分解を得る。
  論文  参考訳（メタデータ） (2026-02-04T14:23:53Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)
• De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors [21.59277717031637]
  決定論的非平滑予測(ReLU-nets)のための非ランダム化PACの族を示す。 また、セットサイズやラベルの変更に対する境界の実証的な結果も提示する。
  論文  参考訳（メタデータ） (2020-02-23T17:54:07Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• An Equivalence between Bayesian Priors and Penalties in Variational Inference [8.45602005745865]
  機械学習では、パラメータのいくつかの値をペナライズするアドホック正規化項によって変調される確率モデルのパラメータを最適化することが一般的である。 我々は、この手順に従って発生する正則化器を完全に特徴付け、与えられたペナルティに対応する事前を計算する体系的な方法を提供する。
  論文  参考訳（メタデータ） (2020-02-01T09:48:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。