論文の概要: WaLRUS: Wavelets for Long-range Representation Using SSMs
- arxiv url: http://arxiv.org/abs/2505.12161v1
- Date: Sat, 17 May 2025 22:41:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.071035
- Title: WaLRUS: Wavelets for Long-range Representation Using SSMs
- Title（参考訳）: WaLRUS:SSMを用いた長距離表現用ウェーブレット
- Authors: Hossein Babaei, Mel White, Sina Alemohammad, Richard G. Baraniuk,
- Abstract要約: ステートスペースモデル(SSM)は、シーケンシャルデータにおける長距離依存をモデリングするための強力なツールであることが証明されている。
本稿では,Daubechies ウェーブレットをベースとした SaFARi の実装である WaLRUS を紹介する。
- 参考スコア（独自算出の注目度）: 22.697360024988484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-Space Models (SSMs) have proven to be powerful tools for modeling long-range dependencies in sequential data. While the recent method known as HiPPO has demonstrated strong performance, and formed the basis for machine learning models S4 and Mamba, it remains limited by its reliance on closed-form solutions for a few specific, well-behaved bases. The SaFARi framework generalized this approach, enabling the construction of SSMs from arbitrary frames, including non-orthogonal and redundant ones, thus allowing an infinite diversity of possible "species" within the SSM family. In this paper, we introduce WaLRUS (Wavelets for Long-range Representation Using SSMs), a new implementation of SaFARi built from Daubechies wavelets.
- Abstract（参考訳）: ステートスペースモデル(SSM)は、シーケンシャルデータにおける長距離依存をモデリングするための強力なツールであることが証明されている。
HiPPOとして知られる最近の手法は、強力な性能を示し、機械学習モデルS4とMambaの基礎を形成しているが、いくつかの特定の、よく定義されたベースに対するクローズドフォームソリューションに依存しているため、依然として制限されている。
SaFARiフレームワークはこのアプローチを一般化し、非直交および冗長なフレームを含む任意のフレームからSSMの構築を可能にし、SSMファミリー内で可能な「種」の無限の多様性を可能にした。
本稿では,Daubechies ウェーブレットをベースとした SaFARi の実装である WaLRUS (Wavelets for Long-range Representation Using SSMs) を紹介する。
関連論文リスト
- SaFARi: State-Space Models for Frame-Agnostic Representation [22.697360024988484]
State-Space Models (SSM) は、オンライン機能のための強力なツールとして再登場し、長距離依存データのための機械学習モデルのバックボーンとなった。
本稿では,SSMをフレームやベースで構築する手法について述べる。
このフレームワークは、HiPPOとして知られるアプローチを包含するが、SSMアーキテクチャ内の他の可能な「種」の無限の多様性も許容する。
論文 参考訳（メタデータ） (2025-05-13T21:39:40Z) - Enhancing Memory and Imagination Consistency in Diffusion-based World Models via Linear-Time Sequence Modeling [8.250616459360684]
EDELINEは、拡散モデルと線形時間状態空間モデルを統合し、メモリ保持と時間的一貫性を向上させる新しいフレームワークである。
複数のベンチマークで得られた結果から,EDELINEの長期タスクにおける事前ベースラインに対する優位性とロバスト性を示す。
論文 参考訳（メタデータ） (2025-02-01T15:49:59Z) - Provable Benefits of Complex Parameterizations for Structured State Space Models [51.90574950170374]
構造化状態空間モデル (Structured State Space Model, SSM) は、指定された構造に固執する線形力学系である。
パラメータ化が現実の典型的なニューラルネットワークモジュールとは対照的に、SSMは複雑なパラメータ化を使用することが多い。
本稿では,実対角 SSM と複素対角 SSM の形式的ギャップを確立することにより,SSM の複雑なパラメータ化の利点を説明する。
論文 参考訳（メタデータ） (2024-10-17T22:35:50Z) - Parameter-Efficient Fine-Tuning of State Space Models [10.817729275974829]
Deep State Space Models (SSM) は、言語モデリングの強力なツールとなり、シーケンス長で高いパフォーマンスと線形スケーラビリティを提供する。
本稿では,パラメータ効率のよい微調整法(PEFT)のSSMモデルへの適用について検討する。
SSMモジュールに適したPEFT法であるスパース次元チューニング(SDT)を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:30:28Z) - Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。
本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。
我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
論文 参考訳（メタデータ） (2024-07-19T11:12:08Z) - Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。
本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。
パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
論文 参考訳（メタデータ） (2024-05-25T17:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。