論文の概要: Large deviation principles for convolutional Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2603.06023v1
• Date: Fri, 06 Mar 2026 08:18:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.377091
• Title: Large deviation principles for convolutional Bayesian neural networks
• Title（参考訳）: 畳み込みベイズニューラルネットワークの大規模偏差原理
• Authors: Federico Bassetti, Vassili De Palma, Lucia Ladelli,
• Abstract要約: 我々は、無限チャネルにおける畳み込みニューラルネットワークのための大きな偏差原理(LDP)を確立する。 これは畳み込みニューラルネットワークのために確立された最初の大きな偏差原理である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While suitably scaled CNNs with Gaussian initialization are known to converge to Gaussian processes as the number of channels diverges, little is known beyond this Gaussian limit. We establish a large deviation principle (LDP) for convolutional neural networks in the infinite-channel regime. We consider a broad class of multidimensional CNN architectures characterized by general receptive fields encoded through a patch-extractor function satisfying mild structural assumptions. Our main result establishes a large deviation principle (LDP) for the sequence of conditional covariance matrices under Gaussian prior distribution on the weights. We further derive an LDP for the posterior distribution obtained by conditioning on a finite number of observations. In addition, we provide a streamlined proof of the concentration of the conditional covariances and of the Gaussian equivalence of the network. To the best of our knowledge, this is the first large deviation principle established for convolutional neural networks.
• Abstract（参考訳）: ガウスの初期化を伴う適切にスケールされたCNNは、チャネルの数が分岐するにつれてガウス過程に収束することが知られているが、このガウス極限を超えては知られていない。 我々は、無限チャネルにおける畳み込みニューラルネットワークのための大きな偏差原理(LDP)を確立する。 パッチ・エクストラクタ関数によって符号化された一般的な受容場を特徴とする多次元CNNアーキテクチャの幅広いクラスについて考察する。 本研究の主な成果は,ガウス事前分布の下での条件共分散行列の列に対する大きな偏差原理(LDP)を確立することである。 さらに,有限個の観測値に条件付けして得られる後部分布のLDPを導出する。 さらに、条件共分散の集中とネットワークのガウス同値性の合理化された証明を提供する。 私たちの知る限りでは、畳み込みニューラルネットワークのために確立された最初の大きな偏差原理である。

関連論文リスト

• Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
  ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。 また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
  論文  参考訳（メタデータ） (2023-12-18T22:29:40Z)
• Bayesian inference with finitely wide neural networks [0.4568777157687961]
  確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。 ベイズ回帰課題における非ガウス的後部分布を導出できる。
  論文  参考訳（メタデータ） (2023-03-06T03:25:30Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling [48.94555574632823]
  再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。 我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
  論文  参考訳（メタデータ） (2022-06-15T17:11:08Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks [1.0878040851638]
  隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。 我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
  論文  参考訳（メタデータ） (2022-03-14T14:20:19Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Precise characterization of the prior predictive distribution of deep ReLU networks [45.46732383818331]
  ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。 この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-06-11T21:21:52Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。