論文の概要: Diagonal State Spaces are as Effective as Structured State Spaces

• arxiv url: http://arxiv.org/abs/2203.14343v1
• Date: Sun, 27 Mar 2022 16:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 13:04:50.057332
• Title: Diagonal State Spaces are as Effective as Structured State Spaces
• Title（参考訳）: 対角状態空間は構造化状態空間と同じくらい有効である
• Authors: Ankit Gupta
• Abstract要約: 音声コマンドのデータセット上での音声分類は、概念的にシンプルで実装が容易でありながら、Long Range Arenaタスク上でのS4のパフォーマンスと一致することを示す。 本研究は,低ランク補正を伴わずともS4の性能に一致できることを示し,状態行列を対角線と仮定する。
• 参考スコア（独自算出の注目度）: 3.8276199743296906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling long range dependencies in sequential data is a fundamental step towards attaining human-level performance in many modalities such as text, vision and audio. While attention-based models are a popular and effective choice in modeling short-range interactions, their performance on tasks requiring long range reasoning has been largely inadequate. In a breakthrough result, Gu et al. (2022) proposed the $\textit{Structured State Space}$ (S4) architecture delivering large gains over state-of-the-art models on several long-range tasks across various modalities. The core proposition of S4 is the parameterization of state matrices via a diagonal plus low rank structure, allowing efficient computation. In this work, we show that one can match the performance of S4 even without the low rank correction and thus assuming the state matrices to be diagonal. Our $\textit{Diagonal State Space}$ (DSS) model matches the performance of S4 on Long Range Arena tasks, speech classification on Speech Commands dataset, while being conceptually simpler and straightforward to implement.
• Abstract（参考訳）: シーケンシャルデータにおける長距離依存関係のモデリングは、テキスト、ビジョン、オーディオなど多くのモダリティにおいて人間レベルのパフォーマンスを達成するための基本的なステップである。 注意に基づくモデルは、近距離相互作用のモデリングにおいて人気があり効果的な選択であるが、長距離推論を必要とするタスクのパフォーマンスは、概ね不十分である。 画期的な結果として、Gu et al. (2022) は、様々なモードにわたる長距離タスクにおける最先端モデルよりも大きな利益をもたらす $\textit{Structured State Space}$ (S4) アーキテクチャを提案した。 s4 の核となる命題は対角プラス低ランク構造による状態行列のパラメータ化であり、効率的な計算を可能にする。 本研究では,低階補正がなくてもs4の性能に適合し,状態行列を対角的に仮定できることを示す。 当社の$\textit{diagonal state space}$ (dss)モデルは、長距離アリーナタスク、音声コマンドデータセットでの音声分類、概念的にはシンプルで実装が容易なs4のパフォーマンスに適合しています。

関連論文リスト

• State-Free Inference of State-Space Models: The Transfer Function Approach [132.83348321603205]
  状態のない推論では、状態サイズが大きくなると大きなメモリや計算コストは発生しない。 提案した周波数領域転送関数のパラメトリゼーション特性を用いてこれを実現する。 長い畳み込みハイエナベースライン上での言語モデリングにおける難易度の改善を報告した。
  論文  参考訳（メタデータ） (2024-05-10T00:06:02Z)
• Robustifying State-space Models for Long Sequences via Approximate Diagonalization [47.321212977509454]
  状態空間モデル(SSM)は、長距離シーケンスタスクを学習するためのフレームワークとして登場した。 HiPPOフレームワークの対角化は、それ自体が不適切な問題である。 本稿では,汎用的,後方安定な「摂動対角化(PTD)」手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T23:36:13Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)
• Simplifying and Understanding State Space Models with Diagonal Linear RNNs [56.33053691749856]
  本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。 概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。 また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
  論文  参考訳（メタデータ） (2022-12-01T18:53:06Z)
• What Makes Convolutional Models Great on Long Sequence Modeling? [30.50800981442449]
  コンボリューションカーネルの構造に焦点をあて、批判的だが直感的な2つの原則を特定します。 構造化グローバル畳み込み (Structured Global Convolution, SGConv) と呼ばれる, 単純かつ効果的な畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T17:53:29Z)
• Liquid Structural State-Space Models [106.74783377913433]
  Liquid-S4はLong-Range Arenaベンチマークで平均87.32%の性能を達成した。 全生音声コマンド認識では、データセットLiquid-S4は96.78%の精度で、S4と比較してパラメータ数が30%減少している。
  論文  参考訳（メタデータ） (2022-09-26T18:37:13Z)
• Long Range Language Modeling via Gated State Spaces [67.64091993846269]
  本稿では,英語書籍,Githubソースコード,ArXiv数学論文の自己回帰シーケンスモデリングに焦点をあてる。 Gated State Space (GSS) と呼ばれる新しい層を提案し、S4の対角線よりもかなり高速に訓練可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-27T01:50:18Z)
• On the Parameterization and Initialization of Diagonal State Space Models [35.68370606343843]
  対角状態空間モデルのパラメータ化と初期化について述べる。 S4の行列の対角制限は、無限状態次元の極限において、驚くほど同じカーネルを回復することを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:58:39Z)
• Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
  本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。 S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
  論文  参考訳（メタデータ） (2021-10-31T03:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。