Fugu-MT 論文翻訳(概要): Spectral State Space Models

論文の概要: Spectral State Space Models

arxiv url: http://arxiv.org/abs/2312.06837v1
Date: Mon, 11 Dec 2023 21:00:28 GMT
ステータス: 処理完了
システム内更新日: 2023-12-13 18:11:26.008767
Title: Spectral State Space Models
Title（参考訳）: スペクトル状態空間モデル
Authors: Naman Agarwal, Daniel Suo, Xinyi Chen, Elad Hazan
Abstract要約: 本稿では,長距離依存型予測タスクのシーケンスモデリングについて検討する。線形力学系の学習に基づく状態空間モデルの新しい定式化を提案する。得られたモデルは、合成力学系で評価される。
参考スコア（独自算出の注目度）: 29.186697092032027
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies sequence modeling for prediction tasks with long range dependencies. We propose a new formulation for state space models based on learning linear dynamical systems with the spectral filtering algorithm [HSZ17]. This gives rise to a novel sequence prediction architecture we call spectral state space models. The resulting models are evaluated on synthetic dynamical systems. These evaluations support the theoretical benefits of spectral filtering for tasks requiring very long range memory.
Abstract（参考訳）: 本稿では,長距離依存型予測タスクのシーケンスモデリングについて検討する。スペクトルフィルタリングアルゴリズム(HSZ17)を用いた線形力学系の学習に基づく状態空間モデルの新しい定式化を提案する。これにより、スペクトル状態空間モデルと呼ばれる新しいシーケンス予測アーキテクチャが生まれます。得られたモデルは合成力学系で評価される。これらの評価は、非常に長いメモリを必要とするタスクに対するスペクトルフィルタリングの理論的利点を支持する。

関連論文リスト

Oscillatory State-Space Models [61.923849241099184]
長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
論文参考訳（メタデータ） (2024-10-04T22:00:13Z)
KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
論文参考訳（メタデータ） (2024-07-18T05:48:24Z)
Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
論文参考訳（メタデータ） (2024-07-08T17:09:39Z)
Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
論文参考訳（メタデータ） (2024-05-25T17:42:40Z)
State Space Models as Foundation Models: A Control Theoretic Overview [3.3222241150972356]
近年、ディープニューラルネットワークアーキテクチャにおける線形状態空間モデル(SSM)の統合への関心が高まっている。本論文は、制御理論者のためのSSMベースのアーキテクチャの穏やかな導入を目的としたものである。もっとも成功したSSM提案の体系的なレビューを提供し、コントロール理論の観点から主要な特徴を強調している。
論文参考訳（メタデータ） (2024-03-25T16:10:47Z)
Course Correcting Koopman Representations [12.517740162118855]
本稿では, この問題のオートエンコーダの定式化と, ダイナミックスをモデル化するための様々な方法について検討する。本稿では,長期的ダイナミクスを忠実に捉えるために,周期的再符号化と呼ばれる推論時機構を提案する。
論文参考訳（メタデータ） (2023-10-23T22:36:31Z)
Combining Slow and Fast: Complementary Filtering for Dynamics Learning [9.11991227308599]
本研究では,動的モデル学習に対する学習に基づくモデル学習手法を提案する。また,さらに物理ベースのシミュレータを必要とするハイブリッドモデルを提案する。
論文参考訳（メタデータ） (2023-02-27T13:32:47Z)
Neural Continuous-Discrete State Space Models for Irregularly-Sampled Time Series [18.885471782270375]
NCDSSMは補助変数を用いて力学からの認識をアンタングルし、補助変数のみに償却推論を必要とする。本稿では、潜在力学の3つのフレキシブルパラメータ化と、推論中の動的状態の辺りを生かした効率的な学習目標を提案する。複数のベンチマークデータセットの実証結果は、既存のモデルよりもNCDSSMの計算性能と予測性能が改善されたことを示している。
論文参考訳（メタデータ） (2023-01-26T18:45:04Z)
Deep Autoregressive Models with Spectral Attention [74.08846528440024]
本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
論文参考訳（メタデータ） (2021-07-13T11:08:47Z)
Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文参考訳（メタデータ） (2021-02-02T06:15:15Z)
Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。