論文の概要: Learning to Dissipate Energy in Oscillatory State-Space Models

• arxiv url: http://arxiv.org/abs/2505.12171v1
• Date: Sat, 17 May 2025 23:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.07375
• Title: Learning to Dissipate Energy in Oscillatory State-Space Models
• Title（参考訳）: 振動状態空間モデルにおけるエネルギー散逸の学習
• Authors: Jared Boyer, T. Konstantin Rusch, Daniela Rus,
• Abstract要約: 状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 55.09730499143998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-space models (SSMs) are a class of networks for sequence learning that benefit from fixed state size and linear complexity with respect to sequence length, contrasting the quadratic scaling of typical attention mechanisms. Inspired from observations in neuroscience, Linear Oscillatory State-Space models (LinOSS) are a recently proposed class of SSMs constructed from layers of discretized forced harmonic oscillators. Although these models perform competitively, leveraging fast parallel scans over diagonal recurrent matrices and achieving state-of-the-art performance on tasks with sequence length up to 50k, LinOSS models rely on rigid energy dissipation ("forgetting") mechanisms that are inherently coupled to the timescale of state evolution. As forgetting is a crucial mechanism for long-range reasoning, we demonstrate the representational limitations of these models and introduce Damped Linear Oscillatory State-Space models (D-LinOSS), a more general class of oscillatory SSMs that learn to dissipate latent state energy on multiple timescales. We analyze the spectral distribution of the model's recurrent matrices and prove that the SSM layers exhibit stable dynamics under simple, flexible parameterizations. D-LinOSS consistently outperforms previous LinOSS methods on long-range learning tasks, without introducing additional complexity, and simultaneously reduces the hyperparameter search space by 50%.
• Abstract（参考訳）: 状態空間モデル(英: State-space model、SSM)は、典型的な注意機構の2次スケーリングとは対照的な、状態サイズと線形複雑性の恩恵を受けるシーケンス学習のためのネットワークのクラスである。 神経科学の観測から着想を得た線形振動状態空間モデル(LinOSS)は、離散化された強制調和振動子の層から構築された最近提案されたSSMのクラスである。 これらのモデルは競合的に機能し、対角線リカレント行列上で高速な並列スキャンを利用し、シーケンス長が最大50kのタスクで最先端のパフォーマンスを達成するが、LinOSSモデルは、状態進化の時間スケールと本質的に結合した厳密なエネルギー散逸(forgetting)機構に依存している。 長距離推論の重要なメカニズムとして,これらのモデルの表現限界を実証し,複数の時間スケールで遅延状態エネルギーの散逸を学習する振動SSMのより一般的なクラスであるダンプ線形振動状態空間モデル(D-LinOSS)を導入する。 モデルの繰り返し行列のスペクトル分布を解析し、SSM層が単純で柔軟なパラメータ化の下で安定なダイナミクスを示すことを示す。 D-LinOSSは、余分な複雑さを伴わずに、長距離学習タスクにおけるLinOSSメソッドを一貫して上回り、同時にハイパーパラメータ検索スペースを50%削減する。

関連論文リスト

• Deep Learning-based Approaches for State Space Models: A Selective Review [15.295157876811066]
  状態空間モデル(SSM)は動的システム解析のための強力なフレームワークを提供する。 本稿では、SSMに対するディープニューラルネットワークに基づくアプローチの最近の進歩を選択的にレビューする。
  論文  参考訳（メタデータ） (2024-12-15T15:04:35Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Machine-Learned Closure of URANS for Stably Stratified Turbulence: Connecting Physical Timescales & Data Hyperparameters of Deep Time-Series Models [0.0]
  我々は、非定常レイノルズ平均ナビエストークス方程式のクロージャモデリングのための時系列機械学習(ML)法を開発した。 我々は, 均一密度勾配により均一で安定に成層された崩壊SSTを考察した。 MLモデルがSSTの力学を正確に捉えるために必要な最小情報の時間尺度の比率は,流れのレイノルズ数と一致することがわかった。
  論文  参考訳（メタデータ） (2024-04-24T18:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。