論文の概要: How Does Momentum Benefit Deep Neural Networks Architecture Design? A Few Case Studies

• arxiv url: http://arxiv.org/abs/2110.07034v1
• Date: Wed, 13 Oct 2021 21:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 15:28:51.424829
• Title: How Does Momentum Benefit Deep Neural Networks Architecture Design? A Few Case Studies
• Title（参考訳）: ディープニューラルネットワークアーキテクチャ設計にモメンタムはどのように役立つのか? ほんの少しのケーススタディ
• Authors: Bao Wang and Hedi Xia and Tan Nguyen and Stanley Osher
• Abstract要約: ニューラルネットワークアーキテクチャに運動量を統合することは、いくつかの顕著な理論的および経験的な利点を持つことを示す。 我々は、リカレントニューラルネットワーク(RNN)、ニューラル常微分方程式(ODE)、トランスフォーマーのアーキテクチャ設計をいかに改善できるかを検討する。
• 参考スコア（独自算出の注目度）: 4.282159812965446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present and review an algorithmic and theoretical framework for improving neural network architecture design via momentum. As case studies, we consider how momentum can improve the architecture design for recurrent neural networks (RNNs), neural ordinary differential equations (ODEs), and transformers. We show that integrating momentum into neural network architectures has several remarkable theoretical and empirical benefits, including 1) integrating momentum into RNNs and neural ODEs can overcome the vanishing gradient issues in training RNNs and neural ODEs, resulting in effective learning long-term dependencies. 2) momentum in neural ODEs can reduce the stiffness of the ODE dynamics, which significantly enhances the computational efficiency in training and testing. 3) momentum can improve the efficiency and accuracy of transformers.
• Abstract（参考訳）: 本稿では、運動量によるニューラルネットワークアーキテクチャ設計を改善するためのアルゴリズム的および理論的枠組みを提示、レビューする。 ケーススタディとして、再帰ニューラルネットワーク(rnn)、神経常微分方程式(odes)、トランスフォーマーのアーキテクチャ設計において、運動量がどのように改善できるかを検討する。 ニューラルネットワークアーキテクチャへのモメンタムの統合には,理論上,経験上のメリットがいくつかあることを示す。 1) RNNとニューラルODEへの運動量の統合は、RNNとニューラルODEのトレーニングにおいて消滅する勾配問題を克服し、長期的依存を効果的に学習する。 2)ニューラルODEの運動量は、ODEダイナミクスの剛性を低下させ、トレーニングやテストにおける計算効率を大幅に向上させる。 3) 運動量は変圧器の効率と精度を向上させることができる。

関連論文リスト

• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
  論文  参考訳（メタデータ） (2023-12-26T02:04:53Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• A deep learning theory for neural networks grounded in physics [2.132096006921048]
  ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。 私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
  論文  参考訳（メタデータ） (2021-03-18T02:12:48Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Exploring weight initialization, diversity of solutions, and degradation in recurrent neural networks trained for temporal and decision-making tasks [0.0]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。 本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
  論文  参考訳（メタデータ） (2019-06-03T21:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。