論文の概要: Spectral State Space Models

• arxiv url: http://arxiv.org/abs/2312.06837v4
• Date: Thu, 11 Jul 2024 14:35:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 23:27:37.547876
• Title: Spectral State Space Models
• Title（参考訳）: スペクトル状態空間モデル
• Authors: Naman Agarwal, Daniel Suo, Xinyi Chen, Elad Hazan,
• Abstract要約: 本稿では,長距離依存型予測タスクのシーケンスモデリングについて検討する。 スペクトルフィルタリングアルゴリズムを用いて線形力学系の学習に基づく状態空間モデルの新しい定式化を提案する。
• 参考スコア（独自算出の注目度）: 26.7172690595466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies sequence modeling for prediction tasks with long range dependencies. We propose a new formulation for state space models (SSMs) based on learning linear dynamical systems with the spectral filtering algorithm (Hazan et al. (2017)). This gives rise to a novel sequence prediction architecture we call a spectral state space model. Spectral state space models have two primary advantages. First, they have provable robustness properties as their performance depends on neither the spectrum of the underlying dynamics nor the dimensionality of the problem. Second, these models are constructed with fixed convolutional filters that do not require learning while still outperforming SSMs in both theory and practice. The resulting models are evaluated on synthetic dynamical systems and long-range prediction tasks of various modalities. These evaluations support the theoretical benefits of spectral filtering for tasks requiring very long range memory.
• Abstract（参考訳）: 本稿では,長距離依存型予測タスクのシーケンスモデリングについて検討する。 スペクトルフィルタリングアルゴリズム(Hazan et al (2017)) を用いた線形力学系の学習に基づく状態空間モデル(SSM)の新しい定式化を提案する。 これにより、スペクトル状態空間モデルと呼ばれる新しいシーケンス予測アーキテクチャが生まれる。 スペクトル状態空間モデルには2つの大きな利点がある。 第一に、それらの性能は基礎となる力学のスペクトルにも問題の次元性にも依存しないので、証明可能な堅牢性を持つ。 第二に、これらのモデルは学習を必要としない固定畳み込みフィルタで構成され、理論と実践の両方においてSSMよりも優れている。 得られたモデルは、合成力学系と様々なモードの長距離予測タスクに基づいて評価される。 これらの評価は、非常に長い範囲のメモリを必要とするタスクに対するスペクトルフィルタリングの理論的利点を支持する。

関連論文リスト

• KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
  KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。 我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。 我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T05:48:24Z)
• Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
  状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。 本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。 パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
  論文  参考訳（メタデータ） (2024-05-25T17:42:40Z)
• There is HOPE to Avoid HiPPOs for Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々のモデルは、LTIシステムの転送関数を一様にサンプリングすることで、これらの革新を効率的に実装する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• State Space Models as Foundation Models: A Control Theoretic Overview [3.3222241150972356]
  近年、ディープニューラルネットワークアーキテクチャにおける線形状態空間モデル(SSM)の統合への関心が高まっている。 本論文は、制御理論者のためのSSMベースのアーキテクチャの穏やかな導入を目的としたものである。 もっとも成功したSSM提案の体系的なレビューを提供し、コントロール理論の観点から主要な特徴を強調している。
  論文  参考訳（メタデータ） (2024-03-25T16:10:47Z)
• Foundational Inference Models for Dynamical Systems [3.95944314850151]
  雑音データからのODEのゼロショット推論のための新しい教師付き学習フレームワークを提案する。 まず,初期条件空間上の分布をサンプリングすることにより,一次元ODEの大規模データセットを生成する。 次に、これらの方程式の解に関する雑音観測と、対応する初期条件とベクトル場の間のニューラルマップを学習する。
  論文  参考訳（メタデータ） (2024-02-12T11:48:54Z)
• Combining Slow and Fast: Complementary Filtering for Dynamics Learning [9.11991227308599]
  本研究では,動的モデル学習に対する学習に基づくモデル学習手法を提案する。 また,さらに物理ベースのシミュレータを必要とするハイブリッドモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-27T13:32:47Z)
• Neural Continuous-Discrete State Space Models for Irregularly-Sampled Time Series [18.885471782270375]
  NCDSSMは補助変数を用いて力学からの認識をアンタングルし、補助変数のみに償却推論を必要とする。 本稿では、潜在力学の3つのフレキシブルパラメータ化と、推論中の動的状態の辺りを生かした効率的な学習目標を提案する。 複数のベンチマークデータセットの実証結果は、既存のモデルよりもNCDSSMの計算性能と予測性能が改善されたことを示している。
  論文  参考訳（メタデータ） (2023-01-26T18:45:04Z)
• Which priors matter? Benchmarking models for learning latent dynamics [70.88999063639146]
  古典力学の先行概念を機械学習モデルに統合する手法が提案されている。 これらのモデルの現在の機能について、精査する。 連続的および時間的可逆的ダイナミクスの使用は、すべてのクラスのモデルに恩恵をもたらす。
  論文  参考訳（メタデータ） (2021-11-09T23:48:21Z)
• Deep Autoregressive Models with Spectral Attention [74.08846528440024]
  本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。 時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。 時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
  論文  参考訳（メタデータ） (2021-07-13T11:08:47Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。