論文の概要: Oscillatory State-Space Models

• arxiv url: http://arxiv.org/abs/2410.03943v1
• Date: Fri, 4 Oct 2024 22:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 15:21:16.061749
• Title: Oscillatory State-Space Models
• Title（参考訳）: 振動状態空間モデル
• Authors: T. Konstantin Rusch, Daniela Rus,
• Abstract要約: 長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
• 参考スコア（独自算出の注目度）: 61.923849241099184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Linear Oscillatory State-Space models (LinOSS) for efficiently learning on long sequences. Inspired by cortical dynamics of biological neural networks, we base our proposed LinOSS model on a system of forced harmonic oscillators. A stable discretization, integrated over time using fast associative parallel scans, yields the proposed state-space model. We prove that LinOSS produces stable dynamics only requiring nonnegative diagonal state matrix. This is in stark contrast to many previous state-space models relying heavily on restrictive parameterizations. Moreover, we rigorously show that LinOSS is universal, i.e., it can approximate any continuous and causal operator mapping between time-varying functions, to desired accuracy. In addition, we show that an implicit-explicit discretization of LinOSS perfectly conserves the symmetry of time reversibility of the underlying dynamics. Together, these properties enable efficient modeling of long-range interactions, while ensuring stable and accurate long-horizon forecasting. Finally, our empirical results, spanning a wide range of time-series tasks from mid-range to very long-range classification and regression, as well as long-horizon forecasting, demonstrate that our proposed LinOSS model consistently outperforms state-of-the-art sequence models. Notably, LinOSS outperforms Mamba by nearly 2x and LRU by 2.5x on a sequence modeling task with sequences of length 50k.
• Abstract（参考訳）: 線形振動状態空間モデル(LinOSS)を提案する。 生体神経ネットワークの皮質力学にインスパイアされた我々の提案するLinOSSモデルは、強制調和振動子のシステムに基づく。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが非負の対角行列のみを必要とする安定な力学を生成することを証明した。 これは、制約パラメータ化に大きく依存する多くの従来の状態空間モデルとは対照的である。 さらに、LinOSSが普遍であること、すなわち時間変化関数間の連続および因果演算子マッピングを所望の精度で近似できることを厳密に示す。 さらに、LinOSSの暗黙的・明示的な離散化は、基礎となる力学の時間可逆性の対称性を完全に保存していることを示す。 これらの特性は、安定かつ正確な長距離予測を確実にしながら、長距離相互作用の効率的なモデリングを可能にする。 最後に,中距離から超長距離の分類・回帰まで幅広い時系列タスクにまたがる実験結果と,長水平予測を行い,提案したLinOSSモデルが常に最先端のシーケンスモデルより優れていることを示す。 特にLinOSSは、長さ50kのシーケンスを持つシーケンスモデリングタスクにおいて、Mambaを約2倍、LRUを2.5倍上回る。

関連論文リスト

• DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs [59.434893231950205]
  動的グラフ学習は、現実世界のシステムにおける進化の法則を明らかにすることを目的としている。 動的グラフ学習のための新しい連続状態空間モデルDyG-Mambaを提案する。 我々はDyG-Mambaがほとんどのデータセットで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-08-13T15:21:46Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Accelerating Phase Field Simulations Through a Hybrid Adaptive Fourier Neural Operator with U-Net Backbone [0.7329200485567827]
  ニューラル演算子学習の最近の進歩にインスパイアされた機械学習(ML)モデルであるU-AFNO(Adaptive Fourier Neural Operators)を提案する。 U-AFNOを使って、現在の時間ステップでフィールドを後の時間ステップにマッピングするダイナミクスを学習します。 高忠実度数値解法と同等の精度で重要なミクロ構造統計とQoIを再現する。
  論文  参考訳（メタデータ） (2024-06-24T20:13:23Z)
• Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
  State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。 本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。 実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:09Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
  本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。 ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-04-23T23:16:47Z)
• Role of stochastic noise and generalization error in the time propagation of neural-network quantum states [0.0]
  ニューラルネットワーク量子状態(NQS)は、平衡外力学をシミュレートするのに適切な変分アンサッツであることが示されている。 安定かつ正確な時間伝搬は、十分に規則化された変動力学のレギュレーションで達成できることを示す。
  論文  参考訳（メタデータ） (2021-05-03T17:55:09Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。