論文の概要: Recurrent neural networks: vanishing and exploding gradients are not the end of the story

• arxiv url: http://arxiv.org/abs/2405.21064v1
• Date: Fri, 31 May 2024 17:53:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 13:09:46.682895
• Title: Recurrent neural networks: vanishing and exploding gradients are not the end of the story
• Title（参考訳）: リカレントニューラルネットワーク:消滅と爆発の勾配は物語の終わりではない
• Authors: Nicolas Zucchet, Antonio Orvieto,
• Abstract要約: リカレントニューラルネットワーク(RNN)は長期記憶の学習に苦慮している。 状態空間モデル(SSM)の最近の成功は、我々の理論的理解を困難にしている。
• 参考スコア（独自算出の注目度）: 13.429440202738647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) notoriously struggle to learn long-term memories, primarily due to vanishing and exploding gradients. The recent success of state-space models (SSMs), a subclass of RNNs, to overcome such difficulties challenges our theoretical understanding. In this paper, we delve into the optimization challenges of RNNs and discover that, as the memory of a network increases, changes in its parameters result in increasingly large output variations, making gradient-based learning highly sensitive, even without exploding gradients. Our analysis further reveals the importance of the element-wise recurrence design pattern combined with careful parametrizations in mitigating this effect. This feature is present in SSMs, as well as in other architectures, such as LSTMs. Overall, our insights provide a new explanation for some of the difficulties in gradient-based learning of RNNs and why some architectures perform better than others.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、主に消滅と爆発的な勾配のため、長期記憶の学習に苦慮している。 RNNのサブクラスである状態空間モデル(SSM)の最近の成功は、我々の理論的理解の難しさを克服するものである。 本稿では、RNNの最適化課題を掘り下げ、ネットワークのメモリが増大するにつれてパラメータの変化が大きくなり、爆発的な勾配を伴わずとも勾配に基づく学習に非常に敏感になることを示す。 この効果を緩和するためには,要素単位の繰り返し設計パターンと慎重なパラメトリゼーションが併用されることが重要である。 この機能はSSMやLSTMなど他のアーキテクチャにも実装されている。 全体として、我々の洞察は、RNNの勾配に基づく学習の難しさと、アーキテクチャが他のアーキテクチャよりも優れている理由について、いくつかの新しい説明を提供する。

関連論文リスト

• Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
  より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。 より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
  論文  参考訳（メタデータ） (2024-01-31T20:10:10Z)
• Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
  スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。 重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。 我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-18T17:00:40Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
  ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。 ネットワークの学習力学を様々な観点から研究する。
  論文  参考訳（メタデータ） (2021-10-21T23:49:23Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。