Fugu-MT 論文翻訳(概要): Exploding and vanishing gradients in deep neural networks: the effect of residual connections

論文の概要: Exploding and vanishing gradients in deep neural networks: the effect of residual connections

arxiv url: http://arxiv.org/abs/2606.17013v1
Date: Mon, 15 Jun 2026 17:46:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 18:36:05.119382
Title: Exploding and vanishing gradients in deep neural networks: the effect of residual connections
Title（参考訳）: ディープニューラルネットワークにおける爆発的勾配と消滅的勾配 : 残差接続の影響
Authors: Vivek S Borkar,
Abstract要約: この文脈では、残余接続を加える効果が説明される。 Furstenberg と Kifer による Liapunov 指数のキャラクタリゼーションが利用される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The well known phenomenon of exploding and vanishing gradients in deep neural networks is analyzed using multiplicative ergodic theory. The effect of adding a residual connection is explained in this context. Specifically, a characterization of Liapunov exponents due to Furstenberg and Kifer is exploited in order to make a precise statement about the Liapunov spectrum and the effect of residual connections on it.
Abstract（参考訳）: ディープニューラルネットワークにおける爆発的勾配と消滅的勾配のよく知られた現象を乗法的エルゴード理論を用いて解析する。この文脈では、残余接続を加える効果が説明される。具体的には、フルステンベルグとキーファーによるリープノフ指数のキャラクタリゼーションを用いて、リープノフスペクトルとそれに対する残留結合の影響を正確に述べる。

関連論文リスト

A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。特に、文献でよく見られるように、損失関数の有界性を必要としない。回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
論文参考訳（メタデータ） (2025-03-03T23:34:12Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
On the Activation Function Dependence of the Spectral Bias of Neural Networks [0.0]
ニューラルネットワークのスペクトルバイアスの観点から,この現象を考察する。本稿では,ReLUニューラルネットワークのスペクトルバイアスを有限要素法との接続を利用して理論的に説明する。我々は,Hatアクティベーション機能を持つニューラルネットワークが勾配降下とADAMを用いて大幅に高速にトレーニングされていることを示す。
論文参考訳（メタデータ） (2022-08-09T17:40:57Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。本分析に基づき,損失関数が二重降下に与える影響について検討した。
論文参考訳（メタデータ） (2022-03-14T17:39:49Z)
Understanding Neural Networks with Logarithm Determinant Entropy Estimator [20.92555798155807]
シャノン微分エントロピーを近似する信頼性の高い行列に基づくエントロピー推定器を提案する。我々は,logdet estimatorに基づく有意な測定値を構築し,それと同等の実験を行い,ニューラルネットワークの動作解析に利用する。
論文参考訳（メタデータ） (2021-05-08T14:07:58Z)
On the approximation of functions by tanh neural networks [0.0]
我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。 2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
論文参考訳（メタデータ） (2021-04-18T19:30:45Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。