論文の概要: PAC-Bayesian risk bounds for fully connected deep neural network with Gaussian priors

• arxiv url: http://arxiv.org/abs/2505.04341v1
• Date: Wed, 07 May 2025 11:42:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.059868
• Title: PAC-Bayesian risk bounds for fully connected deep neural network with Gaussian priors
• Title（参考訳）: PAC-Bayesian risk bounds for fully connected Deep Neural Network with Gaussian priors
• Authors: The Tien Mai,
• Abstract要約: 完全連結ベイズニューラルネットワークはスパースネットワークに匹敵する収束率が得られることを示す。 我々の結果は、リプシッツ連続である幅広い実用的なアクティベーション関数のクラスに当てはまる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) have emerged as a powerful methodology with significant practical successes in fields such as computer vision and natural language processing. Recent works have demonstrated that sparsely connected DNNs with carefully designed architectures can achieve minimax estimation rates under classical smoothness assumptions. However, subsequent studies revealed that simple fully connected DNNs can achieve comparable convergence rates, challenging the necessity of sparsity. Theoretical advances in Bayesian neural networks (BNNs) have been more fragmented. Much of those work has concentrated on sparse networks, leaving the theoretical properties of fully connected BNNs underexplored. In this paper, we address this gap by investigating fully connected Bayesian DNNs with Gaussian prior using PAC-Bayes bounds. We establish upper bounds on the prediction risk for a probabilistic deep neural network method, showing that these bounds match (up to logarithmic factors) the minimax-optimal rates in Besov space, for both nonparametric regression and binary classification with logistic loss. Importantly, our results hold for a broad class of practical activation functions that are Lipschitz continuous.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理といった分野で大きな成功を収めた強力な方法論として登場した。 近年の研究では、疎結合なDNNとアーキテクチャを慎重に設計することで、古典的な滑らかさの仮定の下で最小推定率が達成できることが示されている。 しかし、その後の研究では、単純で完全連結なDNNが同等の収束率を達成でき、スパーシティの必要性に挑戦することが明らかとなった。 ベイズニューラルネットワーク(BNN)の理論的進歩はより断片化されている。 これらの研究の多くはスパースネットワークに集中しており、完全に連結されたBNNの理論的性質は未解明のままである。 本稿では,PAC-Bayes境界を用いたベイズDNNとガウシアンとの完全連結化について検討し,このギャップに対処する。 確率論的ディープニューラルネットワーク手法の予測リスクの上限を設定し,この境界値が,非パラメトリック回帰とロジスティック損失を伴う二項分類の両方に対して,ベソフ空間における最小最適値に一致することを示す。 重要なことに、我々の結果は、リプシッツ連続である幅広い実践的活性化関数のクラスを保っている。

関連論文リスト

• Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights [3.5865188519566003]
  境界パラメータを持つ非スパースディープニューラルネットワーク(DNN)に対する新しい近似理論を提案する。 非スパース一般のBNNは、真のモデルに対して、最小限の最適後部濃度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T08:31:36Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Masked Bayesian Neural Networks : Theoretical Guarantee and its Posterior Inference [1.2722697496405464]
  本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。 我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。 さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-24T06:16:11Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations [2.047424180164312]
  本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。 我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T14:11:07Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。