論文の概要: W4S4: WaLRUS Meets S4 for Long-Range Sequence Modeling

• arxiv url: http://arxiv.org/abs/2506.07920v1
• Date: Mon, 09 Jun 2025 16:33:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.153882
• Title: W4S4: WaLRUS Meets S4 for Long-Range Sequence Modeling
• Title（参考訳）: W4S4: WaLRUSがLong-Range Sequence ModelingのためのS4を発表
• Authors: Hossein Babaei, Mel White, Richard G. Baraniuk,
• Abstract要約: 状態空間モデル(SSM)は、シーケンスモデリングの強力なコンポーネントとして登場した。 冗長ウェーブレットフレームから構築された新しいSSMであるW4S4(WaLRUS for S4)を導入する。 我々は,HipPOをベースとしたSSMよりも長い地平線上での情報保持が極めて優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.453158933852357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State Space Models (SSMs) have emerged as powerful components for sequence modeling, enabling efficient handling of long-range dependencies via linear recurrence and convolutional computation. However, their effectiveness depends heavily on the choice and initialization of the state matrix. In this work, we build on the SaFARi framework and existing WaLRUS SSMs to introduce a new variant, W4S4 (WaLRUS for S4), a new class of SSMs constructed from redundant wavelet frames. WaLRUS admits a stable diagonalization and supports fast kernel computation without requiring low-rank approximations, making it both theoretically grounded and computationally efficient. We show that WaLRUS retains information over long horizons significantly better than HiPPO-based SSMs, both in isolation and when integrated into deep architectures such as S4. Our experiments demonstrate consistent improvements across delay reconstruction tasks, classification benchmarks, and long-range sequence modeling, confirming that high-quality, structured initialization enabled by wavelet-based state dynamic offers substantial advantages over existing alternatives. WaLRUS provides a scalable and versatile foundation for the next generation of deep SSM-based models.
• Abstract（参考訳）: 状態空間モデル(SSM)はシーケンスモデリングの強力なコンポーネントとして登場し、線形再帰と畳み込み計算による長距離依存の効率的な処理を可能にしている。 しかし、それらの効果は状態行列の選択と初期化に大きく依存する。 本研究では,SaFARiフレームワークと既存のWALRUS SSMを用いて,冗長ウェーブレットフレームから構築された新しいSSMであるW4S4(WaLRUS for S4)を導入する。 WaLRUSは安定な対角化を認め、低ランク近似を必要とせずに高速なカーネル計算をサポートし、理論的には基底と計算効率の両方を実現している。 我々は,HipPOをベースとしたSSMとS4のような深層アーキテクチャの双方において,WALRUSは長い地平線上で情報を保持することを実証した。 提案実験は,遅延再構成タスク,分類ベンチマーク,長距離シーケンスモデリングにおける一貫した改善を実証し,ウェーブレットベースの状態ダイナミクスによって実現された高品質な構造化初期化が,既存の代替よりも大幅に有利であることを確認した。 WaLRUSは、次世代のSSMベースのモデルのためのスケーラブルで汎用的な基盤を提供する。

関連論文リスト

• WaLRUS: Wavelets for Long-range Representation Using SSMs [22.697360024988484]
  ステートスペースモデル(SSM)は、シーケンシャルデータにおける長距離依存をモデリングするための強力なツールであることが証明されている。 本稿では,Daubechies ウェーブレットをベースとした SaFARi の実装である WaLRUS を紹介する。
  論文  参考訳（メタデータ） (2025-05-17T22:41:24Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)
• Robustifying State-space Models for Long Sequences via Approximate Diagonalization [47.321212977509454]
  状態空間モデル(SSM)は、長距離シーケンスタスクを学習するためのフレームワークとして登場した。 HiPPOフレームワークの対角化は、それ自体が不適切な問題である。 本稿では,汎用的,後方安定な「摂動対角化(PTD)」手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T23:36:13Z)
• Structured State Space Models for In-Context Reinforcement Learning [30.189834820419446]
  構造化状態空間列(S4)モデルは、最近、長距離シーケンスモデリングタスクにおいて最先端の性能を達成した。 隠れた状態を並列に初期化およびリセットできるS4の変種に対する修正を提案する。 変更したアーキテクチャはシーケンス長のTransformerよりも高速に動作し、単純なメモリベースのタスクでRNNよりもパフォーマンスがよいことを示す。
  論文  参考訳（メタデータ） (2023-03-07T15:32:18Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• Liquid Structural State-Space Models [106.74783377913433]
  Liquid-S4はLong-Range Arenaベンチマークで平均87.32%の性能を達成した。 全生音声コマンド認識では、データセットLiquid-S4は96.78%の精度で、S4と比較してパラメータ数が30%減少している。
  論文  参考訳（メタデータ） (2022-09-26T18:37:13Z)
• Simplified State Space Layers for Sequence Modeling [11.215817688691194]
  近年、構造化された状態空間列層を用いたモデルが、多くの長距離タスクにおいて最先端の性能を達成している。 ハイパフォーマンスにはHiPPOフレームワークに密接に従う必要があるという考えを再考する。 我々は、S4層が使用する多くの独立したシングルインプット、シングルアウトプット(SISO)SSMのバンクを、1つのマルチインプット、マルチアウトプット(MIMO)SSMで置き換える。 S5は、Long Range Arenaベンチマークスイートで平均82.46%を達成することを含む、長距離タスクにおけるS4のパフォーマンスと一致している。
  論文  参考訳（メタデータ） (2022-08-09T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。