論文の概要: Combining Recurrent, Convolutional, and Continuous-time Models with
Linear State-Space Layers
- arxiv url: http://arxiv.org/abs/2110.13985v1
- Date: Tue, 26 Oct 2021 19:44:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 12:50:44.807828
- Title: Combining Recurrent, Convolutional, and Continuous-time Models with
Linear State-Space Layers
- Title（参考訳）: リカレント、畳み込み、連続時間モデルと線形状態空間層を組み合わせる
- Authors: Albert Gu, Isys Johnson, Karan Goel, Khaled Saab, Tri Dao, Atri Rudra,
Christopher R\'e
- Abstract要約: 一般化する制御系にインスパイアされた単純なシーケンスモデルを導入する。
LSSLモデルは上記の3つのモデルのファミリーと密接な関係を示し、その強みを継承する。
例えば、畳み込みを連続時間に一般化し、共通のRNN-1を説明し、時間スケール適応のようなNDEの特徴を共有する。
- 参考スコア（独自算出の注目度）: 21.09321438439848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent neural networks (RNNs), temporal convolutions, and neural
differential equations (NDEs) are popular families of deep learning models for
time-series data, each with unique strengths and tradeoffs in modeling power
and computational efficiency. We introduce a simple sequence model inspired by
control systems that generalizes these approaches while addressing their
shortcomings. The Linear State-Space Layer (LSSL) maps a sequence $u \mapsto y$
by simply simulating a linear continuous-time state-space representation
$\dot{x} = Ax + Bu, y = Cx + Du$. Theoretically, we show that LSSL models are
closely related to the three aforementioned families of models and inherit
their strengths. For example, they generalize convolutions to continuous-time,
explain common RNN heuristics, and share features of NDEs such as time-scale
adaptation. We then incorporate and generalize recent theory on continuous-time
memorization to introduce a trainable subset of structured matrices $A$ that
endow LSSLs with long-range memory. Empirically, stacking LSSL layers into a
simple deep neural network obtains state-of-the-art results across time series
benchmarks for long dependencies in sequential image classification, real-world
healthcare regression tasks, and speech. On a difficult speech classification
task with length-16000 sequences, LSSL outperforms prior approaches by 24
accuracy points, and even outperforms baselines that use hand-crafted features
on 100x shorter sequences.
- Abstract（参考訳）: recurrent neural network(rnn)、temporal convolutions(時相畳み込み)、neural differential equation(ndes)は、時系列データのためのディープラーニングモデルの一般的なファミリーであり、それぞれがモデリング能力と計算効率に特有の強みとトレードオフを持っている。
制御系にインスパイアされた単純なシーケンスモデルを導入し、それらの欠点に対処しながらこれらのアプローチを一般化する。
Linear State-Space Layer (LSSL) は、線形連続時間状態空間表現 $\dot{x} = Ax + Bu, y = Cx + Du$ を単純にシミュレートすることで、シーケンス $u \mapsto y$ をマッピングする。
理論的には、LSSLモデルは上記のモデルの3つのファミリーと密接な関係を示し、その強みを継承する。
例えば、畳み込みを連続時間に一般化し、一般的なRNNヒューリスティックを説明し、時間スケール適応のようなNDEの特徴を共有する。
次に、連続時間記憶に関する最近の理論を取り入れて一般化し、長いメモリを持つlsslを提供する構造化行列の訓練可能なサブセット$a$を導入する。
経験的に、単純なディープニューラルネットワークにLSSLレイヤを積み重ねることで、シーケンシャルなイメージ分類、現実のヘルスケアレグレッションタスク、スピーチにおける長い依存関係に関する時系列ベンチマークを通じて、最先端の結果が得られる。
長さ-16000列の難しい音声分類タスクでは、LSSLは従来のアプローチを24の精度ポイントで上回り、100倍の短いシーケンスで手作りの特徴を使用するベースラインよりも上回ります。
関連論文リスト
- Bilinear Sequence Regression: A Model for Learning from Long Sequences of High-dimensional Tokens [14.424050371971354]
トークン列の最も基本的なモデルの一つとして,双線形シーケンス回帰(BSR)を導入,研究する。
トークン列のベクトル化や単純な線形回帰による学習に関して、最適な学習がもたらす改善を定量化する。
論文 参考訳（メタデータ） (2024-10-24T15:44:03Z) - Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。
言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
論文 参考訳（メタデータ） (2023-11-08T16:50:05Z) - DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture
Instantaneous and Long-term Effects in Time Series [26.378073712630467]
LSTMの解釈性を改善するために,分解に基づく線形説明可能LSTM(DeLELSTM)を提案する。
3つの経験的データセット上でのDeLELSTMの有効性と解釈性を示す。
論文 参考訳（メタデータ） (2023-08-26T07:45:41Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。
近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。
LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
論文 参考訳（メタデータ） (2022-12-24T15:17:42Z) - Classification of Long Sequential Data using Circular Dilated
Convolutional Neural Networks [10.014879130837912]
循環拡張畳み込みニューラルネットワーク(CDIL-CNN)と呼ばれる対称型マルチスケールアーキテクチャを提案する。
本モデルでは,全ての位置で分類ロジットを付与し,簡単なアンサンブル学習を適用し,より良い判断を下すことができる。
論文 参考訳（メタデータ） (2022-01-06T16:58:59Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。
過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。
このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
論文 参考訳（メタデータ） (2020-08-17T23:39:33Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Recognizing Long Grammatical Sequences Using Recurrent Networks
Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。
RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。
これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。
本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文 参考訳（メタデータ） (2020-04-04T14:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。