論文の概要: Linear Dynamics-embedded Neural Network for Long-Sequence Modeling
- arxiv url: http://arxiv.org/abs/2402.15290v1
- Date: Fri, 23 Feb 2024 12:36:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 14:43:42.882003
- Title: Linear Dynamics-embedded Neural Network for Long-Sequence Modeling
- Title(参考訳): 線形ダイナミクス埋め込みニューラルネットワークによる時系列モデリング
- Authors: Tongyi Liang and Han-Xiong Li
- Abstract要約: 我々はLinear Dynamics-embedded Neural Network (LDNN) と呼ばれる新しいニューラルネットワークを提案する。
SSMの連続的、離散的、畳み込み的特性により、LDNNはパラメータがほとんどなく、フレキシブルな推論が可能である。
2つの効率的な戦略は、畳み込みの時間的複雑さを$O(LNHmaxL, N)$から$O(LNmax H, log L)$に減少させる。
- 参考スコア(独自算出の注目度): 6.214987339902511
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The trade-off between performance and computational efficiency in
long-sequence modeling becomes a bottleneck for existing models. Inspired by
the continuous state space models (SSMs) with multi-input and multi-output in
control theory, we propose a new neural network called Linear Dynamics-embedded
Neural Network (LDNN). SSMs' continuous, discrete, and convolutional properties
enable LDNN to have few parameters, flexible inference, and efficient training
in long-sequence tasks. Two efficient strategies, diagonalization and
$'\text{Disentanglement then Fast Fourier Transform (FFT)}'$, are developed to
reduce the time complexity of convolution from $O(LNH\max\{L, N\})$ to
$O(LN\max \{H, \log L\})$. We further improve LDNN through bidirectional
noncausal and multi-head settings to accommodate a broader range of
applications. Extensive experiments on the Long Range Arena (LRA) demonstrate
the effectiveness and state-of-the-art performance of LDNN.
- Abstract(参考訳): ロングシーケンスモデリングにおける性能と計算効率のトレードオフは、既存のモデルのボトルネックとなる。
制御理論におけるマルチインプットとマルチアウトプットを備えた連続状態空間モデル(SSM)に着想を得て,線形ダイナミクス埋め込みニューラルネットワーク(LDNN)と呼ばれる新しいニューラルネットワークを提案する。
SSMの連続的、離散的、畳み込み的特性により、LDNNはパラメータがほとんどなく、フレキシブルな推論が可能である。
対角化と$'\text{Disentanglement then Fast Fourier Transform (FFT)}'$という2つの効率的な戦略が開発され、畳み込みの時間的複雑さを$O(LNH\max\{L, N\})$から$O(LN\max \{H, \log L\})$へと減少させる。
我々は、広範囲のアプリケーションに対応するために、双方向の非因果設定とマルチヘッド設定により、LDNNをさらに改善する。
LRA(Long Range Arena)の大規模な実験は、LDNNの有効性と最先端の性能を示す。
関連論文リスト
- Learning Long Sequences in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。
トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
論文 参考訳(メタデータ) (2023-12-14T13:30:27Z) - Accelerating Toeplitz Neural Network with Constant-time Inference
Complexity [21.88774274472737]
Toeplitz Neural Networks (TNN) は、様々なシーケンスモデリングタスクにおいて優れた性能を示した。
それらは、ログ線形の時空複雑さの恩恵を受けながら、Transformerベースのモデルよりも優れていた。
本稿では、TNNと状態空間モデル(SSM)の長所を、推論中にTNNをSSMに変換することで組み合わせることを目的とする。
論文 参考訳(メタデータ) (2023-11-15T07:50:57Z) - Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳(メタデータ) (2023-10-17T09:25:17Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳(メタデータ) (2023-07-27T06:59:46Z) - NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference [20.53515208166353]
本稿では,Deep Neural Network(DNN)モデル全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを提案する。
提案手法は,汎用性とアプリケーション固有の計算効率を両立させながら,ネットワークの精度を保っている。
論文 参考訳(メタデータ) (2023-05-23T12:03:51Z) - A Momentum-Incorporated Non-Negative Latent Factorization of Tensors
Model for Dynamic Network Representation [0.0]
大規模動的ネットワーク (LDN) は、多くのビッグデータ関連アプリケーションにおけるデータソースである。
テンソル(LFT)モデルの潜在因子化は、この時間パターンを効率的に抽出する。
勾配降下(SGD)解法に基づくLFTモデルは、トレーニングスキームによって制限されることが多く、尾収束が弱い。
本稿では,運動量付きSGDに基づく非線形LFTモデル(MNNL)を提案する。
論文 参考訳(メタデータ) (2023-05-04T12:30:53Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Real-time Multi-Task Diffractive Deep Neural Networks via
Hardware-Software Co-design [1.6066483376871004]
本研究は,d$2$nnsでロバストかつノイズ耐性のあるマルチタスク学習を実現する,新しいハードウェアソフトウェア共同設計手法を提案する。
私たちの実験結果は、汎用性とハードウェア効率の大幅な改善を示し、提案されたマルチタスクD$2$NNアーキテクチャの堅牢性を実証します。
論文 参考訳(メタデータ) (2020-12-16T12:29:54Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳(メタデータ) (2020-10-08T18:24:12Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。