論文の概要: PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory

• arxiv url: http://arxiv.org/abs/2604.17219v1
• Date: Sun, 19 Apr 2026 03:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.3989
• Title: PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory
• Title（参考訳）: 特異学習理論によるギブズ後頭部のPAC-Bayes境界
• Authors: Chenyang Wang, Yun Yang,
• Abstract要約: ギブス後方に対する明示的非漸近性PAC-Bayes一般化境界を導出する。 古典的な最悪ケースの複雑性境界は、大数の均一な法則に基づいているのとは異なり、我々の分析は、平均的な後続のリスク境界をもたらす。
• 参考スコア（独自算出の注目度）: 10.93258787701145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive explicit non-asymptotic PAC-Bayes generalization bounds for Gibbs posteriors, that is, data-dependent distributions over model parameters obtained by exponentially tilting a prior with the empirical risk. Unlike classical worst-case complexity bounds based on uniform laws of large numbers, which require explicit control of the model space in terms of metric entropy (integrals), our analysis yields posterior-averaged risk bounds that can be applied to overparameterized models and adapt to the data structure and the intrinsic model complexity. The bound involves a marginal-type integral over the parameter space, which we analyze using tools from singular learning theory to obtain explicit and practically meaningful characterizations of the posterior risk. Applications to low-rank matrix completion and ReLU neural network regression and classification show that the resulting bounds are analytically tractable and substantially tighter than classical complexity-based bounds. Our results highlight the potential of PAC-Bayes analysis for precise finite-sample generalization guarantees in modern overparameterized and singular models.
• Abstract（参考訳）: 我々は、Gibs の後続部分に対する明示的な非漸近的 PAC-Bayes 一般化境界、すなわち、経験的リスクで事前を指数関数的に傾けることによって得られるモデルパラメータに対するデータ依存分布を導出する。 計量エントロピー(積分)の観点からモデル空間の明示的な制御を必要とする、大数の一様法則に基づく古典的最悪の複雑性境界とは異なり、我々の分析は、過パラメータ化モデルに適用し、データ構造と本質的なモデル複雑性に適応できる、平均的リスク境界を導出する。 この境界はパラメータ空間上の辺型積分を伴い、特異学習理論からツールを用いて解析し、後続リスクの明示的で実用的な特徴を得る。 低ランク行列の完全化とReLUニューラルネットワークの回帰と分類への応用は、結果として得られる境界が古典的な複雑性に基づく境界よりも分析的に抽出可能であり、かなり厳密であることを示している。 この結果は、現代の過パラメータ化モデルと特異モデルにおいて、正確な有限サンプル一般化を保証するためのPAC-Bayes解析の可能性を強調した。

関連論文リスト

• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Nonconvex Penalized LAD Estimation in Partial Linear Models with DNNs: Asymptotic Analysis and Proximal Algorithms [3.8450418136547224]
  本稿では,LAST Absolute Deviation (LAD) による線形部分モデルについて検討する。 我々は、ディープニューラルネットワーク(NN)とペナライズされたLADモデルを用いて、非下位パラメータを定式化する。
  論文  参考訳（メタデータ） (2025-11-26T07:01:35Z)
• Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
  我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。 経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
  論文  参考訳（メタデータ） (2024-06-07T01:07:35Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Posterior-Aided Regularization for Likelihood-Free Inference [23.708122045184698]
  後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。 単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
  論文  参考訳（メタデータ） (2021-02-15T16:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。