論文の概要: Para-Gaussian Approximations of Random Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2610.37388v2
• Date: Fri, 30 Oct 2026 19:19:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:44.993489
• Title: Para-Gaussian Approximations of Random Deep Neural Networks
• Title（参考訳）: ランダム深部ニューラルネットワークのパラガウス近似
• Abstract要約: ランダムニューラルネットワークは$nto infty$制限でガウス的振舞いを持つことが知られている。 この近似は有限$n$で貧しくなり、ネットワークに深く入り込むと悪化する。 このパラガウス近似が,ネットワークの深い層を近似する実用的な手法にどのように寄与するかを示す。
• 参考スコア（独自算出の注目度）: 5.37133760455631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is known that randomly initialized neural networks have Gaussian behaviour in the $n\to \infty$ limit. Unfortunately, this approximation can be poor for finite $n$ and gets worse as one goes deeper into the network. In this work, we develop a more accurate approximation that is \emph{slightly} non-Gaussian, which we call the para-Gaussian distribution and is constructed from the Hermite polynomials. We show how this para-Gaussian approximation can lead to a practical recursive method to approximate the deeper layers of the network. Finally, we apply this theory to linear neural networks (where things can be solved exactly) and to ReLU neural networks (where things can be approximated).
• Abstract（参考訳）: ランダムに初期化されたニューラルネットワークは、$n\to \infty$極限でガウス的振舞いを持つことが知られている。 残念ながら、この近似は有限$n$で貧しくなり、ネットワークに深く入り込むとさらに悪化する。 本研究では、パラガウス分布(para-Gaussian distribution)と呼ばれ、エルミート多項式(Hermite polynomials)から構成される非ガウス分布(non-Gaussian)であるより正確な近似を開発する。 このパラガウス近似が,ネットワークの深い層を近似する実用的な再帰的手法をもたらすことを示す。 最後に、この理論を線形ニューラルネットワーク(物事を正確に解くことができる)やReLUニューラルネットワーク(物事を近似できる)に適用する。

関連論文リスト

• Dense Neural Networks are not Universal Approximators [53.27010448621372]
  ニューラルネットワークは任意の連続関数の普遍性を持たないことを示す。 ReLUニューラルネットワークは、重みと入出力次元の自然な制約を受ける。
  論文  参考訳（メタデータ） (2026-02-07T16:52:38Z)
• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。