論文の概要: Simplified State Space Layers for Sequence Modeling
- arxiv url: http://arxiv.org/abs/2208.04933v1
- Date: Tue, 9 Aug 2022 17:57:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-10 12:57:36.459462
- Title: Simplified State Space Layers for Sequence Modeling
- Title(参考訳): シーケンスモデリングのための簡易状態空間層
- Authors: Jimmy T.H. Smith, Andrew Warrington, and Scott W. Linderman
- Abstract要約: 近年、構造化された状態空間列層を用いたモデルが、多くの長距離タスクにおいて最先端の性能を達成している。
ハイパフォーマンスにはHiPPOフレームワークに密接に従う必要があるという考えを再考する。
我々は、S4層が使用する多くの独立したシングルインプット、シングルアウトプット(SISO)SSMのバンクを、1つのマルチインプット、マルチアウトプット(MIMO)SSMで置き換える。
S5は、Long Range Arenaベンチマークスイートで平均82.46%を達成することを含む、長距離タスクにおけるS4のパフォーマンスと一致している。
- 参考スコア(独自算出の注目度): 11.215817688691194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficiently modeling long-range dependencies is an important goal in sequence
modeling. Recently, models using structured state space sequence (S4) layers
achieved state-of-the-art performance on many long-range tasks. The S4 layer
combines linear state space models (SSMs) with deep learning techniques and
leverages the HiPPO framework for online function approximation to achieve high
performance. However, this framework led to architectural constraints and
computational difficulties that make the S4 approach complicated to understand
and implement. We revisit the idea that closely following the HiPPO framework
is necessary for high performance. Specifically, we replace the bank of many
independent single-input, single-output (SISO) SSMs the S4 layer uses with one
multi-input, multi-output (MIMO) SSM with a reduced latent dimension. The
reduced latent dimension of the MIMO system allows for the use of efficient
parallel scans which simplify the computations required to apply the S5 layer
as a sequence-to-sequence transformation. In addition, we initialize the state
matrix of the S5 SSM with an approximation to the HiPPO-LegS matrix used by
S4's SSMs and show that this serves as an effective initialization for the MIMO
setting. S5 matches S4's performance on long-range tasks, including achieving
an average of 82.46% on the suite of Long Range Arena benchmarks compared to
S4's 80.48% and the best transformer variant's 61.41%.
- Abstract(参考訳): 長距離依存関係の効率的なモデリングは、シーケンスモデリングの重要な目標である。
近年、構造化状態空間列(S4)層を用いたモデルが、多くの長距離タスクにおいて最先端の性能を達成した。
S4層は線形状態空間モデル(SSM)とディープラーニング技術を組み合わせて、オンライン関数近似にHiPPOフレームワークを活用して高性能を実現する。
しかし、このフレームワークはアーキテクチャ上の制約と計算上の困難をもたらし、s4アプローチの理解と実装を複雑にした。
ハイパフォーマンスにはHiPPOフレームワークに密接に従う必要があるという考えを再考する。
具体的には、S4層が使用する多くの独立したシングルインプット、シングルアウトプット(SISO)SSMのバンクを、1つのマルチインプット、マルチアウトプット(MIMO)SSMに置き換える。
MIMOシステムの潜在次元を小さくすることで、S5層をシーケンス・ツー・シーケンス変換として適用するのに必要な計算を単純化する効率的な並列スキャンが利用可能となる。
さらに、S4のSSMが使用するHiPPO-LegS行列に近似したS5 SSMの状態行列を初期化し、これがMIMO設定の効果的な初期化となることを示す。
S5は、S4の80.48%と最高の変圧器の61.41%と比較して、Long Range Arenaベンチマークのスイートで平均82.46%を達成するなど、長距離タスクにおけるS4のパフォーマンスと一致している。
関連論文リスト
- Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。
トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文 参考訳(メタデータ) (2023-10-30T16:11:06Z) - Robustifying State-space Models for Long Sequences via Approximate
Diagonalization [47.321212977509454]
状態空間モデル(SSM)は、長距離シーケンスタスクを学習するためのフレームワークとして登場した。
HiPPOフレームワークの対角化は、それ自体が不適切な問題である。
本稿では,汎用的,後方安定な「摂動対角化(PTD)」手法を提案する。
論文 参考訳(メタデータ) (2023-10-02T23:36:13Z) - A Multi-dimensional Deep Structured State Space Approach to Speech
Enhancement Using Small-footprint Models [45.90759340302879]
我々は、時間(T)および時間周波数(TF)ドメインにおける複数のS4ベースのディープアーキテクチャを探索する。
提案されたTFドメインS4ベースのモデルのサイズは78.6%小さいが、PESQスコア3.15のデータ拡張で競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-01T04:19:57Z) - A Neural State-Space Model Approach to Efficient Speech Separation [34.38911304755453]
ニューラル状態空間モデル(SSM)に基づく新しい効率的な音声分離フレームワークであるS4Mを紹介する。
SSM手法を音声分離タスクに拡張するために、まず入力混合物を異なる解像度のマルチスケール表現に分解する。
実験の結果,S4Mは他の分離バックボーンとSI-SDRiの相容れない性能を示した。
我々のS4M-tinyモデル(1.8Mパラメータ)は、9.2の乗算演算(MAC)しか持たない雑音条件下で、注意に基づくセプフォーマ(26.0Mパラメータ)を超える。
論文 参考訳(メタデータ) (2023-05-26T13:47:11Z) - Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。
近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。
LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
論文 参考訳(メタデータ) (2022-12-24T15:17:42Z) - Liquid Structural State-Space Models [106.74783377913433]
Liquid-S4はLong-Range Arenaベンチマークで平均87.32%の性能を達成した。
全生音声コマンド認識では、データセットLiquid-S4は96.78%の精度で、S4と比較してパラメータ数が30%減少している。
論文 参考訳(メタデータ) (2022-09-26T18:37:13Z) - Long Range Language Modeling via Gated State Spaces [67.64091993846269]
本稿では,英語書籍,Githubソースコード,ArXiv数学論文の自己回帰シーケンスモデリングに焦点をあてる。
Gated State Space (GSS) と呼ばれる新しい層を提案し、S4の対角線よりもかなり高速に訓練可能であることを示す。
論文 参考訳(メタデータ) (2022-06-27T01:50:18Z) - How to Train Your HiPPO: State Space Models with Generalized Orthogonal
Basis Projections [22.421814045703147]
線形時間不変状態空間モデル(SSM)は機械学習において非常に有望であることが示されている。
理論的にリッチなSSMのクラスを導入し、他のベースに対してより直感的なS4変種を導出できるようにします。
これらの洞察により、S4のパフォーマンスはLong Range Arenaベンチマークで86%、最も難しいPath-Xタスクで96%向上した。
論文 参考訳(メタデータ) (2022-06-24T02:24:41Z) - Diagonal State Spaces are as Effective as Structured State Spaces [3.8276199743296906]
音声コマンドのデータセット上での音声分類は、概念的にシンプルで実装が容易でありながら、Long Range Arenaタスク上でのS4のパフォーマンスと一致することを示す。
本研究は,低ランク補正を伴わずともS4の性能に一致できることを示し,状態行列を対角線と仮定する。
論文 参考訳(メタデータ) (2022-03-27T16:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。