論文の概要: A Fully Rigorous Proof of the Derivation of Xavier and He's Initialization for Deep ReLU Networks

• arxiv url: http://arxiv.org/abs/2101.12017v1
• Date: Thu, 21 Jan 2021 21:43:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:51:24.493809
• Title: A Fully Rigorous Proof of the Derivation of Xavier and He's Initialization for Deep ReLU Networks
• Title（参考訳）: Xavierの導出の厳密な証明とDeep ReLUネットワークの初期化
• Authors: Quynh Nguyen
• Abstract要約: Xavier/He's の導出の厳密な証明は ReLU ネットを初期化する。 Xavier/He's の導出の厳密な証明が与えられる。
• 参考スコア（独自算出の注目度）: 9.42944841156154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fully rigorous proof of the derivation of Xavier/He's initialization for ReLU nets is given.
• Abstract（参考訳）: ReLUネットに対するXavier/Heの初期化の導出の完全な厳密な証明が与えられる。

関連論文リスト

• Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks [0.022344294014777957]
  アクティベーション(AM)は最適な入力を生成し、トレーニングされたディープニューラルネットワークで高い応答をトリガーする機能を明らかにする。 本稿では,ReLU や Leaky ReLU を含む単純な関数に対して,AM が最適入力を生成できないことを示す。 本稿では,後進パスに負の勾配を持つLeaky ReLUを用いて,前進パスに,元の(通常ゼロの)傾斜を保ちながら,後方パスに高い負の勾配を持つ解を提案する。
  論文  参考訳（メタデータ） (2024-10-22T12:38:39Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Any Deep ReLU Network is Shallow [1.4502611532302039]
  深部ReLUネットワークが与えられた場合、対応する浅部ネットワークの明示的な重みを求めるアルゴリズムを提案する。 結果として生じる浅いネットワークは透明であり、モデルsの振る舞いの説明を生成するために使用される。
  論文  参考訳（メタデータ） (2023-06-20T18:37:21Z)
• Principles for Initialization and Architecture Selection in Graph Neural Networks with ReLU Activations [17.51364577113718]
  ReLUを活性化した有限幅グラフニューラルネットワーク(GNN)におけるアーキテクチャ選択の3つの原理を示す。 まず、よく知られた He-initialization の ReLU GNN への一意的な一般化を理論的に導出する。 第2に、有限幅バニラReLU GNNにおいて、固定アグリゲーション演算子を用いる場合、オーバースムーシングが大深度では避けられないことを証明する。
  論文  参考訳（メタデータ） (2023-06-20T16:40:41Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths [9.42944841156154]
  我々は、すべての隠れた層の幅が少なくとも$Omega(N8)$$$(N$はトレーニングサンプルの数)である場合、勾配勾配が大域的最適に収束することを示した。
  論文  参考訳（メタデータ） (2021-01-24T00:29:19Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。