Fugu-MT 論文翻訳(概要): Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights

論文の概要: Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights

arxiv url: http://arxiv.org/abs/2507.12686v1
Date: Wed, 16 Jul 2025 23:41:09 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-18 20:10:24.302559
Title: Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights
Title（参考訳）: 深部ニューラルネットワークに対する有限次元ガウス近似:ランダムウェイトにおける普遍性
Authors: Krishnakumar Balasubramanian, Nathan Ross,
Abstract要約: 有限次モーメントを持つ無作為重みを持つディープニューラルネットワークの有限次元分布(FDD)について検討する。我々は、FDDとガウス極限の間のワッサーシュタイン-1$ノルムにガウス近似境界を確立する。すべての幅が共通のスケールパラメータ$n$に比例し、隠された層が$L-1$である特別な場合、任意の$epsilon > 0$に対して$n-(1/6)L-1 + epsilon$の収束率を得る。
参考スコア（独自算出の注目度）: 15.424946932398713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the Finite-Dimensional Distributions (FDDs) of deep neural networks with randomly initialized weights that have finite-order moments. Specifically, we establish Gaussian approximation bounds in the Wasserstein-$1$ norm between the FDDs and their Gaussian limit assuming a Lipschitz activation function and allowing the layer widths to grow to infinity at arbitrary relative rates. In the special case where all widths are proportional to a common scale parameter $n$ and there are $L-1$ hidden layers, we obtain convergence rates of order $n^{-({1}/{6})^{L-1} + \epsilon}$, for any $\epsilon > 0$.
Abstract（参考訳）: 有限次モーメントを持つランダム初期化重みを持つディープニューラルネットワークの有限次元分布(FDD)について検討する。具体的には、FDD とそれらのガウス極限の間のワッサーシュタイン-1$ノルムのガウス近似境界を確立し、リプシッツ活性化関数を仮定し、任意の相対レートで層幅を無限大にすることができる。すべての幅が共通のスケールパラメータ$n$に比例して$L-1$隠れ層が存在する場合、任意の$\epsilon > 0$に対して$n^{-({1}/{6})^{L-1} + \epsilon}$の収束率を得る。

関連論文リスト

Approximation and Generalization Abilities of Score-based Neural Network Generative Models for Sub-Gaussian Distributions [18.375250624200373]
スコアベースニューラルネットワーク生成モデル(SGM)の近似と能力について検討する。我々のフレームワークは普遍的であり、以前の研究よりも軽度の仮定の下でSGMの収束率を確立するために利用することができる。我々の分析では、スコア関数のリプシッツ連続性や、ターゲット密度の厳密な正下界など、いくつかの重要な仮定を取り除いている。
論文参考訳（メタデータ） (2025-05-16T05:38:28Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文参考訳（メタデータ） (2023-09-25T17:54:19Z)
Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
論文参考訳（メタデータ） (2023-09-21T18:11:04Z)
Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文参考訳（メタデータ） (2023-07-12T11:35:37Z)
Wide neural networks: From non-gaussian random fields at initialization to the NTK geometry of training [0.0]
パラメータが$n=1014$を超える人工ニューラルネットワークの応用の最近の進歩は、そのようなネットワークの大きな$n$の振る舞いを研究することが極めて重要である。広義のニューラルネットワークを研究するほとんどの研究は、そのようなネットワークの無限幅$nから+infty$制限に焦点を当てている。この研究では、それらの振る舞いを大まかに研究するが、有限$n$である。
論文参考訳（メタデータ） (2023-04-06T21:34:13Z)
A Nearly Tight Bound for Fitting an Ellipsoid to Gaussian Random Points [50.90125395570797]
このことは対数的因子の中でのciteSaundersonCPW12 の予想をほぼ成立させる。後者の予想は、機械学習とある種の統計上の問題に対する2乗下界との結びつきから、過去10年間で大きな注目を集めている。
論文参考訳（メタデータ） (2022-12-21T17:48:01Z)
A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文参考訳（メタデータ） (2022-02-23T16:10:23Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文参考訳（メタデータ） (2020-07-22T18:18:28Z)
A Universal Approximation Theorem of Deep Neural Networks for Expressing Probability Distributions [12.100913944042972]
ReLU 活性化を伴う深層ニューラルネットワーク $g:mathbbRdrightarrow mathbbR$ が存在することを示す。ニューラルネットワークのサイズは、1ドルのワッサーシュタイン距離が相違点として使用される場合、$d$で指数関数的に成長することができる。
論文参考訳（メタデータ） (2020-04-19T14:45:47Z)
Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。我々はCIFARに関する実験結果を示し,その理論を検証した。
論文参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。