Fugu-MT 論文翻訳(概要): WaLRUS: Wavelets for Long-range Representation Using SSMs

論文の概要: WaLRUS: Wavelets for Long-range Representation Using SSMs

arxiv url: http://arxiv.org/abs/2505.12161v1
Date: Sat, 17 May 2025 22:41:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:11.071035
Title: WaLRUS: Wavelets for Long-range Representation Using SSMs
Title（参考訳）: WaLRUS:SSMを用いた長距離表現用ウェーブレット
Authors: Hossein Babaei, Mel White, Sina Alemohammad, Richard G. Baraniuk,
Abstract要約: ステートスペースモデル(SSM)は、シーケンシャルデータにおける長距離依存をモデリングするための強力なツールであることが証明されている。本稿では,Daubechies ウェーブレットをベースとした SaFARi の実装である WaLRUS を紹介する。
参考スコア（独自算出の注目度）: 22.697360024988484
License: http://creativecommons.org/licenses/by/4.0/
Abstract: State-Space Models (SSMs) have proven to be powerful tools for modeling long-range dependencies in sequential data. While the recent method known as HiPPO has demonstrated strong performance, and formed the basis for machine learning models S4 and Mamba, it remains limited by its reliance on closed-form solutions for a few specific, well-behaved bases. The SaFARi framework generalized this approach, enabling the construction of SSMs from arbitrary frames, including non-orthogonal and redundant ones, thus allowing an infinite diversity of possible "species" within the SSM family. In this paper, we introduce WaLRUS (Wavelets for Long-range Representation Using SSMs), a new implementation of SaFARi built from Daubechies wavelets.
Abstract（参考訳）: ステートスペースモデル(SSM)は、シーケンシャルデータにおける長距離依存をモデリングするための強力なツールであることが証明されている。 HiPPOとして知られる最近の手法は、強力な性能を示し、機械学習モデルS4とMambaの基礎を形成しているが、いくつかの特定の、よく定義されたベースに対するクローズドフォームソリューションに依存しているため、依然として制限されている。 SaFARiフレームワークはこのアプローチを一般化し、非直交および冗長なフレームを含む任意のフレームからSSMの構築を可能にし、SSMファミリー内で可能な「種」の無限の多様性を可能にした。本稿では,Daubechies ウェーブレットをベースとした SaFARi の実装である WaLRUS (Wavelets for Long-range Representation Using SSMs) を紹介する。

関連論文リスト

W4S4: WaLRUS Meets S4 for Long-Range Sequence Modeling [23.453158933852357]
状態空間モデル(SSM)は、シーケンスモデリングの強力なコンポーネントとして登場した。冗長ウェーブレットフレームから構築された新しいSSMであるW4S4(WaLRUS for S4)を導入する。我々は,HipPOをベースとしたSSMよりも長い地平線上での情報保持が極めて優れていることを示す。
論文参考訳（メタデータ） (2025-06-09T16:33:29Z)
Long-Context State-Space Video World Models [66.28743632951218]
本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
論文参考訳（メタデータ） (2025-05-26T16:12:41Z)
Learning to Dissipate Energy in Oscillatory State-Space Models [55.09730499143998]
状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
論文参考訳（メタデータ） (2025-05-17T23:15:17Z)
SaFARi: State-Space Models for Frame-Agnostic Representation [22.697360024988484]
State-Space Models (SSM) は、オンライン機能のための強力なツールとして再登場し、長距離依存データのための機械学習モデルのバックボーンとなった。本稿では,SSMをフレームやベースで構築する手法について述べる。このフレームワークは、HiPPOとして知られるアプローチを包含するが、SSMアーキテクチャ内の他の可能な「種」の無限の多様性も許容する。
論文参考訳（メタデータ） (2025-05-13T21:39:40Z)
Enhancing Memory and Imagination Consistency in Diffusion-based World Models via Linear-Time Sequence Modeling [8.250616459360684]
EDELINEは、拡散モデルと線形時間状態空間モデルを統合し、メモリ保持と時間的一貫性を向上させる新しいフレームワークである。複数のベンチマークで得られた結果から,EDELINEの長期タスクにおける事前ベースラインに対する優位性とロバスト性を示す。
論文参考訳（メタデータ） (2025-02-01T15:49:59Z)
Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文参考訳（メタデータ） (2024-11-23T06:36:16Z)
Provable Benefits of Complex Parameterizations for Structured State Space Models [51.90574950170374]
構造化状態空間モデル (Structured State Space Model, SSM) は、指定された構造に固執する線形力学系である。パラメータ化が現実の典型的なニューラルネットワークモジュールとは対照的に、SSMは複雑なパラメータ化を使用することが多い。本稿では,実対角 SSM と複素対角 SSM の形式的ギャップを確立することにより,SSM の複雑なパラメータ化の利点を説明する。
論文参考訳（メタデータ） (2024-10-17T22:35:50Z)
Parameter-Efficient Fine-Tuning of State Space Models [10.817729275974829]
Deep State Space Models (SSM) は、言語モデリングの強力なツールとなり、シーケンス長で高いパフォーマンスと線形スケーラビリティを提供する。本稿では,パラメータ効率のよい微調整法(PEFT)のSSMモデルへの適用について検討する。 SSMモジュールに適したPEFT法であるスパース次元チューニング(SDT)を提案する。
論文参考訳（メタデータ） (2024-10-11T17:30:28Z)
SDE: A Simplified and Disentangled Dependency Encoding Framework for State Space Models in Time Series Forecasting [8.841699904757506]
精度予測の基本となる3つの重要な依存関係を特定し,正式に定義する。 SDE(Simplified and Disentangled Dependency entangle)は,時系列予測におけるSSMの能力向上を目的とした新しいフレームワークである。
論文参考訳（メタデータ） (2024-08-22T02:14:59Z)
Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
論文参考訳（メタデータ） (2024-07-19T11:12:08Z)
Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
論文参考訳（メタデータ） (2024-05-25T17:42:40Z)
HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
論文参考訳（メタデータ） (2024-05-22T20:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。