Fugu-MT 論文翻訳(概要): Convergence of neural networks to Gaussian mixture distribution

論文の概要: Convergence of neural networks to Gaussian mixture distribution

arxiv url: http://arxiv.org/abs/2204.12100v1
Date: Tue, 26 Apr 2022 06:33:14 GMT
ステータス: 処理完了
システム内更新日: 2022-04-27 12:15:15.230314
Title: Convergence of neural networks to Gaussian mixture distribution
Title（参考訳）: ガウス混合分布に対するニューラルネットワークの収束性
Authors: Yasuhiko Asao, Ryotaro Sakamoto, Shiro Takagi
Abstract要約: 比較的穏やかな条件下では、完全に接続されたフィードフォワード・ディープ・ランダム・ニューラルネットワークがガウス混合分布に収束することを示す。結果を支援するシンプルなモデルの実験を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We give a proof that, under relatively mild conditions, fully-connected feed-forward deep random neural networks converge to a Gaussian mixture distribution as only the width of the last hidden layer goes to infinity. We conducted experiments for a simple model which supports our result. Moreover, it gives a detailed description of the convergence, namely, the growth of the last hidden layer gets the distribution closer to the Gaussian mixture, and the other layer successively get the Gaussian mixture closer to the normal distribution.
Abstract（参考訳）: 比較的穏やかな条件下では、最後の隠れ層の幅だけ無限大になるため、完全連結フィードフォワード深層ニューラルネットワークがガウス混合分布に収束することを示す。結果を支援するシンプルなモデルの実験を行った。さらに、この収束の詳細な説明、すなわち最後の隠れた層の成長は、ガウス混合物に近い分布となり、他の層は、ガウス混合物を正規分布に次々に近づける。

関連論文リスト

Unraveling the Smoothness Properties of Diffusion Models: A Gaussian Mixture Perspective [18.331374727331077]
拡散過程のリプシッツ連続性と第二運動量特性の理論的理解を提供する。この結果から, 共通データ分布下での拡散過程のダイナミクスについて, より深い理論的知見が得られた。
論文参考訳（メタデータ） (2024-05-26T03:32:27Z)
Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文参考訳（メタデータ） (2024-01-29T02:08:40Z)
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文参考訳（メタデータ） (2023-12-18T22:29:40Z)
Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文参考訳（メタデータ） (2023-12-02T13:01:29Z)
Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文参考訳（メタデータ） (2023-06-27T08:15:28Z)
Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks [1.0878040851638]
隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
論文参考訳（メタデータ） (2022-03-14T14:20:19Z)
Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文参考訳（メタデータ） (2022-02-02T20:11:33Z)
Lower Bounds on the Total Variation Distance Between Mixtures of Two Gaussians [45.392805695921666]
混合系の全変動距離と特性関数の接続を利用する。 2成分ガウス混合系の対間の全変動距離の新しい下界を導出する。
論文参考訳（メタデータ） (2021-09-02T16:32:16Z)
Instance-Optimal Compressed Sensing via Posterior Sampling [101.43899352984774]
後部サンプリング推定器がほぼ最適回復保証を達成できることを示す。本稿では,Langevin dynamics を用いた深部生成前駆体の後方サンプリング推定器を実装し,MAP よりも精度の高い推定値が得られることを実証的に見出した。
論文参考訳（メタデータ） (2021-06-21T22:51:56Z)
Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文参考訳（メタデータ） (2021-02-20T10:14:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。