論文の概要: Oscillatory Fourier Neural Network: A Compact and Efficient Architecture
for Sequential Processing
- arxiv url: http://arxiv.org/abs/2109.13090v1
- Date: Tue, 14 Sep 2021 19:08:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-03 10:38:37.399679
- Title: Oscillatory Fourier Neural Network: A Compact and Efficient Architecture
for Sequential Processing
- Title（参考訳）: 発振性フーリエニューラルネットワーク:シーケンシャル処理のためのコンパクトで効率的なアーキテクチャ
- Authors: Bing Han, Cheng Wang, and Kaushik Roy
- Abstract要約: 本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。
提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。
IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
- 参考スコア（独自算出の注目度）: 16.69710555668727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tremendous progress has been made in sequential processing with the recent
advances in recurrent neural networks. However, recurrent architectures face
the challenge of exploding/vanishing gradients during training, and require
significant computational resources to execute back-propagation through time.
Moreover, large models are typically needed for executing complex sequential
tasks. To address these challenges, we propose a novel neuron model that has
cosine activation with a time varying component for sequential processing. The
proposed neuron provides an efficient building block for projecting sequential
inputs into spectral domain, which helps to retain long-term dependencies with
minimal extra model parameters and computation. A new type of recurrent network
architecture, named Oscillatory Fourier Neural Network, based on the proposed
neuron is presented and applied to various types of sequential tasks. We
demonstrate that recurrent neural network with the proposed neuron model is
mathematically equivalent to a simplified form of discrete Fourier transform
applied onto periodical activation. In particular, the computationally
intensive back-propagation through time in training is eliminated, leading to
faster training while achieving the state of the art inference accuracy in a
diverse group of sequential tasks. For instance, applying the proposed model to
sentiment analysis on IMDB review dataset reaches 89.4% test accuracy within 5
epochs, accompanied by over 35x reduction in the model size compared to LSTM.
The proposed novel RNN architecture is well poised for intelligent sequential
processing in resource constrained hardware.
- Abstract（参考訳）: 近年のリカレントニューラルネットワークの進歩とともに, 逐次処理の進歩が進んでいる。
しかし、リカレントアーキテクチャは、トレーニング中に勾配の爆発/消滅という課題に直面し、時間を通してバックプロパゲーションを実行するためにかなりの計算資源を必要とする。
さらに、複雑なシーケンシャルタスクの実行には、一般的に大きなモデルが必要となる。
これらの課題に対処するために、シーケンシャル処理のための時間変化成分を持つコサイン活性化を有する新しいニューロンモデルを提案する。
提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。
提案したニューロンに基づく新しいタイプの繰り返しネットワークアーキテクチャであるOscillatory Fourier Neural Networkが提案され,各種のシーケンシャルタスクに適用される。
提案するニューロンモデルを用いたリカレントニューラルネットワークは、周期的活性化に適用される離散フーリエ変換の単純化形式と数学的に等価であることを示す。
特に、トレーニング中の時間による計算集約的なバックプロパゲーションを排除し、より高速なトレーニングを実現するとともに、さまざまなシーケンシャルなタスク群におけるアート推論精度の達成を実現する。
例えば、IMDBレビューデータセットの感情分析に提案したモデルを適用すると、5時間以内に89.4%のテスト精度に達し、LSTMと比較してモデルサイズが35倍以上削減された。
提案する新しいRNNアーキテクチャは、リソース制約ハードウェアにおけるインテリジェントなシーケンシャル処理に適している。
関連論文リスト
- Time-Parameterized Convolutional Neural Networks for Irregularly Sampled
Time Series [26.77596449192451]
不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。
標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。
時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
論文 参考訳（メタデータ） (2023-08-06T21:10:30Z) - Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。
本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
論文 参考訳（メタデータ） (2022-05-29T14:57:33Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - Stochastic Recurrent Neural Network for Multistep Time Series
Forecasting [0.0]
我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。
私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
論文 参考訳（メタデータ） (2021-04-26T01:43:43Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。