論文の概要: MomentumRNN: Integrating Momentum into Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2006.06919v2
• Date: Sun, 11 Oct 2020 17:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:25:13.138502
• Title: MomentumRNN: Integrating Momentum into Recurrent Neural Networks
• Title（参考訳）: MomentumRNN: Momentumをリカレントニューラルネットワークに統合する
• Authors: Tan M. Nguyen, Richard G. Baraniuk, Andrea L. Bertozzi, Stanley J. Osher, Bao Wang
• Abstract要約: 我々は,MomentumRNNが,RNNのトレーニングにおいて消失する勾配問題を緩和することを示した。 MomentumRNNは、最先端のRNNなど、様々な種類のリカレント細胞に適用できる。 本稿では,Adam や Nesterov などの高度運動量に基づく最適化手法が再起動によって高速化され,MomentumRNN フレームワークに容易に組み込めることを示す。
• 参考スコア（独自算出の注目度）: 32.40217829362088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing deep neural networks is an art that often involves an expensive search over candidate architectures. To overcome this for recurrent neural nets (RNNs), we establish a connection between the hidden state dynamics in an RNN and gradient descent (GD). We then integrate momentum into this framework and propose a new family of RNNs, called {\em MomentumRNNs}. We theoretically prove and numerically demonstrate that MomentumRNNs alleviate the vanishing gradient issue in training RNNs. We study the momentum long-short term memory (MomentumLSTM) and verify its advantages in convergence speed and accuracy over its LSTM counterpart across a variety of benchmarks. We also demonstrate that MomentumRNN is applicable to many types of recurrent cells, including those in the state-of-the-art orthogonal RNNs. Finally, we show that other advanced momentum-based optimization methods, such as Adam and Nesterov accelerated gradients with a restart, can be easily incorporated into the MomentumRNN framework for designing new recurrent cells with even better performance. The code is available at https://github.com/minhtannguyen/MomentumRNN.
• Abstract（参考訳）: ディープニューラルネットワークの設計は、しばしば候補アーキテクチャを検索する高価な技術である。 これを解決するために、リカレントニューラルネットワーク(RNN)において、RNNの隠れ状態ダイナミクスと勾配降下(GD)との接続を確立する。 次に、このフレームワークに運動量を統合するとともに、新しいRNNファミリーである {\em MomentumRNNsを提案する。 理論的には、MomentumRNNがRNNのトレーニングにおいて消滅する勾配問題を緩和することを証明し、数値的に示す。 モーメントムLSTM(Momentum long-short term memory)について検討し,様々なベンチマークにおいてLSTMのコンバージェンス速度と精度の優位性を検証した。 我々はまた、MomentumRNNが、最先端の直交RNNを含む、様々な種類の再発細胞に適用可能であることを実証した。 最後に,adam や nesterov といった他の先進的なモーメントベース最適化手法は,再帰セルの設計のためのmomentumrnn フレームワークに容易に組み込むことができ,さらに優れた性能が得られることを示す。 コードはhttps://github.com/minhtannguyen/MomentumRNNで公開されている。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
  我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。 適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。 我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
  論文  参考訳（メタデータ） (2024-07-18T14:06:07Z)
• Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
  本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。 我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
  論文  参考訳（メタデータ） (2023-04-24T02:28:03Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Time Encoding approach to training Spiking Neural Networks [3.655021726150368]
  スパイキングニューラルネットワーク(SNN)の人気が高まっている。 本稿では、時間符号化理論を用いて、SNNの理解と学習を支援する余分なツールを提供する。
  論文  参考訳（メタデータ） (2021-10-13T14:07:11Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。