論文の概要: Fractional State Space Transition for Long Sequence Modeling
- arxiv url: http://arxiv.org/abs/2609.36314v1
- Date: Mon, 28 Sep 2026 21:48:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.035866
- Title: Fractional State Space Transition for Long Sequence Modeling
- Title（参考訳）: 長周期モデリングのためのフラクショナル状態空間遷移
- Abstract要約: 状態空間モデル(SSM)はシーケンス履歴を有界なリカレント状態に圧縮し、その結果のメモリ法則を長文パフォーマンスのための中心的なアーキテクチャ選択にする。
現代のほとんどのSSMはODEベースのダイナミクスに依存しており、指数的忘れを招き、幅広い時間範囲で情報を保持する能力を制限する。
本稿では、この指数的減衰をパワー・ロー・ロングメモリに置き換える分数的ダイナミクスから導かれる選択的SSMアーキテクチャFRACを紹介する。
- 参考スコア（独自算出の注目度）: 32.08912722358754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State Space Models (SSMs) compress sequence history into a bounded recurrent state, making the resulting memory law a central architectural choice for long-context performance. Most modern SSMs rely on ODE-based dynamics that lead to exponential forgetting, limiting their ability to retain information over broad temporal ranges. We introduce FRAC, a selective SSM architecture derived from fractional dynamics that replaces this exponential decay with power-law long memory. To make fractional dynamics practical, FRAC approximates the heavy-tailed target kernel with a finite-state, log-spaced sum of exponential modes. This construction turns fractional memory into an efficient recurrent module with parallel training and prefill, while retaining bounded-state autoregressive decoding. Extensive experiments, including 1.3B-parameter language modeling, demonstrate that FRAC consistently improves long-context performance over state-of-the-art SSM baselines while staying competitive on short-context. These results show that fractional dynamics provide a practical and effective prior for long-context SSMs.
- Abstract（参考訳）: 状態空間モデル(SSM)はシーケンス履歴を有界なリカレント状態に圧縮し、その結果のメモリ法則を長文パフォーマンスのための中心的なアーキテクチャ選択にする。
現代のほとんどのSSMはODEベースのダイナミクスに依存しており、指数的忘れを招き、幅広い時間範囲で情報を保持する能力を制限する。
本稿では、この指数的減衰をパワー・ロー・ロングメモリに置き換える分数的ダイナミクスから導かれる選択的SSMアーキテクチャFRACを紹介する。
分数的ダイナミクスを実践するために、FRACは重い尾を持つターゲットカーネルを指数モードの有限状態、対数空間の和に近似する。
この構成により、分数メモリは並列トレーニングとプリフィルを備えた効率的なリカレントモジュールとなり、境界状態の自己回帰復号が維持される。
1.3Bパラメータ言語モデリングを含む大規模な実験では、FRACは短いコンテキストで競合しながら、最先端のSSMベースラインよりも長いコンテキスト性能を一貫して向上することを示した。
これらの結果から, 分数的力学は長文SSMに対して, 実用的で効果的であることが示された。
関連論文リスト
- DSSMs: State Space Models with Explicit Memory via Delay Differential Equations [9.12852957469023]
ステートスペースモデル(SSM)は、効率的な長周期モデリングのための強力なパラダイムとして登場した。
本稿では,遅延微分方程式(DDE)に基づく対角線SSMの拡張である遅延状態空間モデル(DSSM)を提案する。
DSSMは、ほとんどの標準シーケンスメトリクスにおいてS4Dよりも高い性能を示しながら、ターゲットの遅延検索タスクを大幅に改善する。
論文 参考訳（メタデータ） (2026-07-11T10:19:21Z) - LongSpike: Fractional Order Spiking State Space Models for Efficient Long Sequence Learning [53.855185131868446]
スパイキングニューラルネットワーク(SNN)は、シーケンシャルデータを処理する際の生物学的な妥当性とエネルギー効率を十分に考慮している。
本研究では,数次状態空間モデリングを統合した新しいSNNフレームワークであるLongSpikeを提案する。
従来の整数階数 SSM を分数計算系に拡張することにより、LongSpike は長いメモリカーネルとニューロンダイナミクスの階層的な統合を可能にする。
論文 参考訳（メタデータ） (2026-06-11T04:54:07Z) - MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。
本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
論文 参考訳（メタデータ） (2025-12-29T19:36:28Z) - The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。
鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。
我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
論文 参考訳（メタデータ） (2025-10-03T09:02:33Z) - Systolic Array-based Accelerator for Structured State-Space Models [1.137896937254823]
State-Space Models (SSM) は非常に長いデータシーケンスをリカレントやトランスフォーマーベースのモデルよりも効率的に処理する。
本稿では,SSMの高速化を目的としたハードウェアアクセラレータEpochCoreを紹介する。
EpochCoreは、GPUと比較してLRAデータセットの平均2000倍のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-07-29T00:01:57Z) - Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks [0.8321953606016751]
多状態スパイクニューロンは、従来のディープラーニングモデルに代わる魅力的な代替手段を提供する。
状態空間モデル(SSM)は、スパイキングニューロンのサブスレッショルド状態に類似した線形状態-内在的再発を用いた長いシーケンス処理において優れている。
そこで我々は,SSMと2次スパイキングニューロンモデルの間に数学的ブリッジを確立する。
論文 参考訳（メタデータ） (2025-06-04T13:54:02Z) - Long-Context State-Space Video World Models [66.28743632951218]
本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。
我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。
メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
論文 参考訳（メタデータ） (2025-05-26T16:12:41Z) - Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。
我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-05-17T23:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。