論文の概要: A Fully Rigorous Proof of the Derivation of Xavier and He's
Initialization for Deep ReLU Networks
- arxiv url: http://arxiv.org/abs/2101.12017v1
- Date: Thu, 21 Jan 2021 21:43:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 07:51:24.493809
- Title: A Fully Rigorous Proof of the Derivation of Xavier and He's
Initialization for Deep ReLU Networks
- Title（参考訳）: Xavierの導出の厳密な証明とDeep ReLUネットワークの初期化
- Authors: Quynh Nguyen
- Abstract要約: Xavier/He's の導出の厳密な証明は ReLU ネットを初期化する。
Xavier/He's の導出の厳密な証明が与えられる。
- 参考スコア（独自算出の注目度）: 9.42944841156154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A fully rigorous proof of the derivation of Xavier/He's initialization for
ReLU nets is given.
- Abstract（参考訳）: ReLUネットに対するXavier/Heの初期化の導出の完全な厳密な証明が与えられる。
関連論文リスト
- Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Agnostic Learning of General ReLU Activation Using Gradient Descent [24.73731167081234]
本稿では、ガウス分布の下で1つのReLU関数を不可知的に学習する問題に対する勾配降下の収束解析について述べる。
我々の主な結果は、ランダムな反復から始まり、多くの勾配降下出力において、高い確率で、ReLU関数が競合エラーを保証することを証明している。
論文 参考訳（メタデータ） (2022-08-04T15:14:05Z) - Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。
その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。
音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
論文 参考訳（メタデータ） (2022-07-21T14:00:52Z) - Approximation speed of quantized vs. unquantized ReLU neural networks
and beyond [0.0]
本稿では,ReLUニューラルネットワークを含む一般近似系について考察する。
我々は、ReLUネットワークが一様量子化可能であることを保証するために$infty$-encodabilityを使用する。
また、ReLUネットワークは、他の多くの近似系と共通の制限を共有していることを示す。
論文 参考訳（メタデータ） (2022-05-24T07:48:12Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Improved Overparametrization Bounds for Global Convergence of Stochastic
Gradient Descent for Shallow Neural Networks [1.14219428942199]
本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
論文 参考訳（メタデータ） (2022-01-28T11:30:06Z) - Global Optimality Beyond Two Layers: Training Deep ReLU Networks via
Convex Programs [39.799125462526234]
我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。
我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
論文 参考訳（メタデータ） (2021-10-11T18:00:30Z) - On the Proof of Global Convergence of Gradient Descent for Deep ReLU
Networks with Linear Widths [9.42944841156154]
我々は、すべての隠れた層の幅が少なくとも$Omega(N8)$$$(N$はトレーニングサンプルの数)である場合、勾配勾配が大域的最適に収束することを示した。
論文 参考訳（メタデータ） (2021-01-24T00:29:19Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。
ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。
このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
論文 参考訳（メタデータ） (2020-03-02T22:15:54Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。