Fugu-MT 論文翻訳(概要): Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks

論文の概要: Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks

arxiv url: http://arxiv.org/abs/2203.07379v2
Date: Fri, 22 Sep 2023 08:28:35 GMT
ステータス: 処理完了
システム内更新日: 2023-09-25 19:55:56.142213
Title: Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks
Title（参考訳）: ランダム初期化深層ニューラルネットワークの定量的ガウス近似
Authors: Andrea Basteri, Dario Trevisan
Abstract要約: 隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
参考スコア（独自算出の注目度）: 1.0878040851638
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Given any deep fully connected neural network, initialized with random Gaussian parameters, we bound from above the quadratic Wasserstein distance between its output distribution and a suitable Gaussian process. Our explicit inequalities indicate how the hidden and output layers sizes affect the Gaussian behaviour of the network and quantitatively recover the distributional convergence results in the wide limit, i.e., if all the hidden layers sizes become large.
Abstract（参考訳）: ランダムなガウスパラメータで初期化される任意の深い完全連結ニューラルネットワークが与えられると、その出力分布と適切なガウス過程の間の二次ワッサースタイン距離の上から束縛される。我々の明示的な不等式は、隠蔽層と出力層のサイズがネットワークのガウス的挙動にどのように影響し、分布収束を定量的に回復するかを示す。

関連論文リスト

Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
論文参考訳（メタデータ） (2024-11-22T11:25:52Z)
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文参考訳（メタデータ） (2023-12-18T22:29:40Z)
Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文参考訳（メタデータ） (2023-07-12T11:35:37Z)
Bayesian inference with finitely wide neural networks [0.4568777157687961]
確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。ベイズ回帰課題における非ガウス的後部分布を導出できる。
論文参考訳（メタデータ） (2023-03-06T03:25:30Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Super-resolution GANs of randomly-seeded fields [68.8204255655161]
ランダムスパースセンサからフィールド量の推定を行うための,GAN(Super- resolution Generative Adversarial Network)フレームワークを提案する。このアルゴリズムはランダムサンプリングを利用して、高解像度の基底分布の不完全ビューを提供する。提案手法は, 流体流動シミュレーション, 海洋表面温度分布測定, 粒子画像速度測定データの合成データベースを用いて検証した。
論文参考訳（メタデータ） (2022-02-23T18:57:53Z)
Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文参考訳（メタデータ） (2022-02-02T20:11:33Z)
Random Neural Networks in the Infinite Width Limit as Gaussian Processes [16.75218291152252]
本稿では、入力次元、出力次元、深さが固定された状態において、ランダムな重みとバイアスを持つ完全連結ニューラルネットワークがガウス過程に収束することを示す。以前の研究とは異なり、収束は重みの分布と非常に一般的な非線形性に対してのみモーメント条件を仮定して示される。
論文参考訳（メタデータ） (2021-07-04T07:00:20Z)
On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width [99.24399270311069]
より広いネットワークにおいて、降下最適化による損失を最小限に抑え、トレーニングの開始時と終了時に正の曲率の表面を貫き、その間の曲率をほぼゼロにすることを観察する。言い換えれば、トレーニングプロセスの重要な部分において、広いネットワークにおけるヘッセンはG成分によって支配されているようである。
論文参考訳（メタデータ） (2020-01-14T16:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。