論文の概要: DSSMs: State Space Models with Explicit Memory via Delay Differential Equations

• arxiv url: http://arxiv.org/abs/2607.10244v1
• Date: Sat, 11 Jul 2026 10:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.349236
• Title: DSSMs: State Space Models with Explicit Memory via Delay Differential Equations
• Title（参考訳）: DSSMs:遅延微分方程式による明示的メモリを持つ状態空間モデル
• Abstract要約: ステートスペースモデル(SSM)は、効率的な長周期モデリングのための強力なパラダイムとして登場した。 本稿では,遅延微分方程式(DDE)に基づく対角線SSMの拡張である遅延状態空間モデル(DSSM)を提案する。 DSSMは、ほとんどの標準シーケンスメトリクスにおいてS4Dよりも高い性能を示しながら、ターゲットの遅延検索タスクを大幅に改善する。
• 参考スコア（独自算出の注目度）: 9.12852957469023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State Space Models (SSMs) have emerged as a powerful paradigm for efficient long-sequence modeling, offering parallel training and fast linear-time recurrent inference. However, like other recurrent architectures, SSMs must compress an unbounded history into a fixed-size state, which limits context retention and makes precise retrieval over long-range context inherently difficult. To overcome this limitation, we propose Delay State Space Models (DSSMs), a delay differential equation (DDE)-inspired extension of diagonal SSMs that augments discrete SSM recurrences with explicit delayed-state feedback. Making explicit delayed feedback practical requires new stability parameterization, history management, and FFT-training tools. We address these challenges with a practical discretization and parameterization grounded in a simple delay-independent stability condition. To bypass direct time-domain kernel construction, we derive the DSSM transfer function and compute kernels in the frequency domain, using a kernel contour shift to suppress aliasing and recover accurate FFT training. Empirically, DSSMs substantially improve targeted delayed-retrieval tasks while outperforming S4D on most standard sequence metrics and remaining close on the others.
• Abstract（参考訳）: State Space Models (SSM) は、並列トレーニングと高速線形時間繰り返し推論を提供する、効率的なロングシーケンスモデリングのための強力なパラダイムとして登場した。 しかし、他のリカレントアーキテクチャと同様に、SSMは境界のない履歴を固定サイズの状態に圧縮しなければならない。 この制限を克服するために、遅延微分方程式(DDE)にインスパイアされた対角線SSMの拡張である遅延状態空間モデル(DSSM)を提案する。 明示的な遅延フィードバックを実践するには、新しい安定性パラメータ化、履歴管理、FFTトレーニングツールが必要である。 これらの課題は, 単純な遅延独立安定性条件下で, 実用的な離散化とパラメータ化によって解決される。 直接時間領域のカーネル構築を回避するために、周波数領域におけるDSSM転送関数と計算カーネルをカーネルの輪郭シフトを用いて導出し、エイリアシングを抑え、正確なFFTトレーニングを復元する。 実証的に、DSSMはターゲットの遅延検索タスクを大幅に改善し、ほとんどの標準シーケンスメトリクスでS4Dを上回り、他のタスクに近づき続ける。

関連論文リスト

• MuonSSM: Orthogonalizing State Space Models for Sequence Modeling [4.4972560829708454]
  状態空間モデル(SSM)は、長いシーケンスモデリングに注目する効率的な線形時間代替手段として登場した。 メモリ更新の幾何を明示的に条件付けすることで、SSMトレーニングを安定化するフレームワークであるMuonSSMを紹介する。 我々は,MuonSSMが勾配伝搬を改善し,スペクトル増幅を緩和し,長い地平線上でのメモリ表現を強化することを示す。
  論文  参考訳（メタデータ） (2026-06-29T15:27:19Z)
• FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences [13.320173396455226]
  本稿では,長周期計算時間解析のためのフラクショナル・リカレント・アーキテクチャを提案する。 スペクトル特性とチューナブル指数を解析的に特徴づけた投影演算子を導出することにより,分数スケール不変メモリダイナミクスを符号化したスペクトル構造を保ちながら,近年の信号摂動に敏感な手法を提案する。 FRACTALはLong Range Arenaベンチマークで平均87.11%のスコアを獲得し、リストOpsタスクでは61.85%でS5モデルを上回った。
  論文  参考訳（メタデータ） (2026-05-09T09:38:44Z)
• SSR: A Training-Free Approach for Streaming 3D Reconstruction [53.19807901585702]
  自己表現型シーケンス規則化(Self Expressive Sequence Regularization、SSR)は、推論中にグラスマン列の正則性を強制するプラグアンドプレイ演算子である。 本研究では,SSRが連続的にドリフトを低減し,複数のストリーミング3D再構成タスクにおける再構成品質を向上させることを示す。
  論文  参考訳（メタデータ） (2026-03-16T02:55:14Z)
• DeformTrace: A Deformable State Space Model with Relay Tokens for Temporal Forgery Localization [23.899829316926724]
  TFL(Temporal Forgery Localization)は、ビデオとオーディオの操作されたセグメントを正確に識別することを目的としており、セキュリティと法医学に強い解釈性を提供する。 最近のステート・スペース・モデル(SSM)は正確な時間的推論において有望であるが、TFLにおけるそれらの使用は曖昧な境界線、希薄な偽造物、限られた長距離モデリングによって妨げられている。 本稿では,これらの課題に対処するため,変形可能な動的機構とリレー機構を備えたSSMを改良したDeformTraceを提案する。
  論文  参考訳（メタデータ） (2026-03-05T07:19:50Z)
• MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
  Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。 MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。 このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
  論文  参考訳（メタデータ） (2026-02-14T14:00:06Z)
• MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
  状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
  論文  参考訳（メタデータ） (2025-12-29T19:36:28Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• SDE: A Simplified and Disentangled Dependency Encoding Framework for State Space Models in Time Series Forecasting [8.841699904757506]
  精度予測の基本となる3つの重要な依存関係を特定し,正式に定義する。 SDE(Simplified and Disentangled Dependency entangle)は,時系列予測におけるSSMの能力向上を目的とした新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T02:14:59Z)
• SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
  本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。 本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。 自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
  論文  参考訳（メタデータ） (2024-05-27T17:53:32Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。