論文の概要: Dimension-Free PAC-Bayes Generalization for Deep Neural Networks via Dirichlet Processes

• arxiv url: http://arxiv.org/abs/2610.21340v1
• Date: Thu, 15 Oct 2026 06:25:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.218146
• Title: Dimension-Free PAC-Bayes Generalization for Deep Neural Networks via Dirichlet Processes
• Title（参考訳）: ディリクレプロセスによるディープニューラルネットワークの次元自由PACベイズ一般化
• Abstract要約: PAC-ベイズ一般化理論はユークリッドパラメータ空間 $subseteq mathbbRD$ 上の事前分布を定めている。 本研究では,事前の仕様を内部パラメータからデータ分散の非パラメトリック空間にシフトすることで,この障壁を解消する。 データ空間のDP-PAC-Bayes証明書は安定しており、非空白であり、textbf$8.8%$--9.4%$で認証されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical PAC-Bayesian generalization theory places prior distributions over Euclidean parameter space $Θ\subseteq \mathbb{R}^D$, causing relative entropy to scale with network dimension $D$. For modern overparameterized neural networks where $D \gg n$, this parameter-counting dependency yields vacuous generalization bounds ($> 1{,}000\%$). In this work, we resolve this barrier by shifting prior specification from internal parameters to the non-parametric space of data distributions $\mathcal{M}_1(\mathcal{Z})$ via a \textbf{Dirichlet Process (DP)}, $\mathcal{DP}(α, F_0)$, inducing parameter distributions through push-forward measures under the learning algorithm. By the Data Processing Inequality, parameter-space relative entropy is strictly bounded by the data-space DP divergence, which we evaluate in exact closed form using Digamma functions. The resulting PAC-Bayesian certificate is strictly invariant to network parameter count $D$, width, and depth. On intrinsic $d^*$-dimensional submanifolds, optimal partition scaling achieves the minimax non-parametric rate $\mathcal{O}(n^{-1/(d^*+2)} \sqrt{\ln n})$. Across vision architectures scaling up to 4.2 million parameters ($D = 7{,}850$ to $D = 4{,}203{,}522$) on the full MNIST benchmark, while classical weight-space bounds scale past $940\%$ (becoming vacuous), our data-space DP-PAC-Bayes certificate remains stable, non-vacuous, and certified at \textbf{$8.8\%$--$9.4\%$}.
• Abstract（参考訳）: 古典的なPAC-ベイジアン一般化理論(英語版)はユークリッドのパラメータ空間上の事前分布を $ \subseteq \mathbb{R}^D$ と定め、相対エントロピーはネットワーク次元$D$ でスケールする。 現代の過パラメータ化ニューラルネットワークでは、$D \gg n$ に対して、このパラメータカウント依存は空の一般化境界 (> 1{,}000\%$) をもたらす。 本研究では、この障壁を、内部パラメータからデータ分散の非パラメトリック空間にシフトすることで解決する: $\mathcal{M}_1(\mathcal{Z})$ via a \textbf{Dirichlet Process (DP)}, $\mathcal{DP}(α, F_0)$。 データ処理の不等式により、パラメータ空間相対エントロピーはデータ空間DPの偏差によって厳密に境界付けられ、ディガンマ関数を用いて正確な閉形式で評価する。 PAC-Bayesian証明書は、ネットワークパラメータカウントの$D$、幅、深さに厳密に不変である。 内在的な$d^*$-次元部分多様体では、最適分割スケーリングはミニマックス非パラメトリックレート $\mathcal{O}(n^{-1/(d^*+2)} \sqrt{\ln n})$ を達成する。 MNISTベンチマークでは、最大4.2百万のパラメータ(D = 7{,}850$ to $D = 4{,}203{,}522$)までスケールするが、古典的なウェイトスペース境界は、940\%$(空白になる)までスケールする。

関連論文リスト

• Optimal Tradeoffs Between Network Size and Parameter Magnitude in Neural Approximation and Minimax Regression [12.592251634771314]
  パラメータ等級は、両方の点において役割を定量化しなければならない別のリソースを提供する。 我々は1つの境界付き1ドルLipschitz Dyadic--Triangular Activationを用いて、一定の深さでシャープな幅-マグニチュードトレードオフを確立する。 これにより、単位パラメータ半径から固定ネットワークサイズまで、統計的に最適な選択の連続性が得られる。
  論文  参考訳（メタデータ） (2026-09-22T05:28:37Z)
• On Explicit Super-Expressive Approximation for Neural Networks [14.904203072235434]
  パラメータ境界と基本活性化を用いた固定構造ニューラルネットワーク近似について検討する。 以前の研究では、固定サイズネットワークを用いた超表現的近似が示されていたが、近似誤差に関するパラメータの量的および非漸近的な特徴が欠如していた。
  論文  参考訳（メタデータ） (2026-07-07T20:21:57Z)
• Stochastic Dimension-Free Zeroth-Order Estimator for High-Dimensional and High-Order PINNs [5.601252185916962]
  本稿では,空間とメモリの両方において次元に依存しない複雑性を実現する統一的なフレームワークを提案する。 textbfSDZEは、単一のNVIDIA A100 GPU上で1000万次元PINNのトレーニングを可能にし、最先端のベースラインよりもメモリ効率が大幅に向上した。
  論文  参考訳（メタデータ） (2026-03-25T07:02:34Z)
• Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
  我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。 無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。 本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2026-02-11T21:44:20Z)
• PAC global optimization for VQE in low-curvature geometric regimes [0.3553493344868413]
  変分量子固有解法における大域的な$varepsilon$-optimalityのノイズロスト保証 Morse--Bott 部分多様体は座標整列な埋め込みフラットに対してファイバー正則性を満たす。
  論文  参考訳（メタデータ） (2025-11-18T16:18:26Z)
• Parameter-free Algorithms for the Stochastically Extended Adversarial Model [59.81852138768642]
  拡張逆数(SEA)モデルの既存のアプローチは、ドメインの直径$D$や損失関数のリプシッツ定数$G$といった問題固有のパラメータの事前知識を必要とする。 パラメータを不要にするためにOptimistic Online Newton Step (OONS) アルゴリズムを利用するパラメータフリー手法を開発した。
  論文  参考訳（メタデータ） (2025-10-06T10:53:37Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。