論文の概要: FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences
- arxiv url: http://arxiv.org/abs/2605.08833v1
- Date: Sat, 09 May 2026 09:38:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.917949
- Title: FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences
- Title(参考訳): FRACTAL:長周期の時間時間解析のためのフラクショナルリカレントアーキテクチャ付きSSM
- Abstract要約: 本稿では,長周期計算時間解析のためのフラクショナル・リカレント・アーキテクチャを提案する。
スペクトル特性とチューナブル指数を解析的に特徴づけた投影演算子を導出することにより,分数スケール不変メモリダイナミクスを符号化したスペクトル構造を保ちながら,近年の信号摂動に敏感な手法を提案する。
FRACTALはLong Range Arenaベンチマークで平均87.11%のスコアを獲得し、リストOpsタスクでは61.85%でS5モデルを上回った。
- 参考スコア(独自算出の注目度): 13.320173396455226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective sequence modeling fundamentally requires balancing the retention of unbounded history with the high-resolution detection of abrupt short-term variations common in real-world phenomena. However, existing state space models (SSMs) relying on high-order polynomial projection operators (HiPPO) face a critical trade-off where uniform measures dilute recent information to maintain timescale invariance, while exponential measures sacrifice global context to capture local dynamics. This paper proposes a Fractional Recurrent Architecture for Computational Temporal Analysis of Long sequences (FRACTAL), a novel architecture integrating fractional measure theory into recursive memory updates to address this limitation. By deriving projection operators with analytically characterized spectral properties and a tunable singularity index, the proposed method amplifies sensitivity to recent signal perturbations while preserving the spectral structure that encodes scale-invariant memory dynamics. This theoretical innovation is instantiated within a simplified diagonalized state space framework by modulating input projection initialization to enable simultaneous capture of multi-scale temporal features. FRACTAL achieves an average score of 87.11\% on the Long Range Arena benchmark, including 61.85\% on the ListOps task, outperforming the S5 model.
- Abstract(参考訳): 実世界の現象に共通する急激な短期変動の高分解能検出と、非有界な歴史の保持のバランスを基本的に要求する。
しかし、高次多項式射影作用素(HiPPO)に依存する既存の状態空間モデル(SSM)は、時間スケールの不変性を維持するために最近の情報を均一に測定する一方で、指数測度は局所力学を捉えるためにグローバルな文脈を犠牲にする。
本稿では,この制限に対処する再帰的メモリ更新に分数測度理論を統合する新しいアーキテクチャであるFRACTALを提案する。
解析的に特徴付けられたスペクトル特性と可変特異性指数を持つ投影演算子を導出することにより、提案手法は、スケール不変メモリダイナミクスを符号化したスペクトル構造を保持しながら、最近の信号摂動に対する感度を増幅する。
この理論革新は、入力射影初期化を変調し、マルチスケールの時間的特徴の同時捕捉を可能にすることにより、単純化された対角化状態空間フレームワーク内でインスタンス化される。
FRACTALは、Long Range Arenaベンチマークで87.11\%の平均スコアを達成し、リストOpsタスクで61.85\%を達成し、S5モデルを上回った。
関連論文リスト
- Learning Spatio-Temporal Foundation Models from Pure Synthetic Data [85.23980441738811]
NeoSTは、現実バイアスに対するスケーラブルな合成学習コーパスであり、複数の将来の軌跡を反復的に生成・洗練する潜在空間推論アーキテクチャであり、構造的ダイナミクスを強調し、分散シフトの下で推論時間補正を可能にする潜在空間目的である。
様々な実世界のベンチマークによる大規模な実験は、NeoSTが様々な実世界の時間系において既存のSTFMより一貫して優れていることを示している。
論文 参考訳(メタデータ) (2026-06-27T02:56:46Z) - Learning Long Range Spatio-Temporal Representations over Continuous Time Dynamic Graphs with State Space Models [22.610672356493378]
連続時間動的グラフ(CTDG)は、進化するデータの微細な時間パターンをキャプチャする、よりリッチなフレームワークを提供する。
連続時間動的グラフのためのパラメータ効率のよい状態空間モデリングフレームワークを導出する。
CTDG-SSMは、LRT(long range temporal)と空間推論を必要とするデータセットにおいて、大きなパフォーマンス向上を達成する。
論文 参考訳(メタデータ) (2026-06-03T09:54:35Z) - PIMSM: Physics-Informed Multi-Scale Mamba for Stable Neural Representations under Distribution Shift [16.230225739605316]
科学的時間構造維持の失敗は分布シフトの不安定性に寄与すると主張する。
周波数状態間のスペクトル推定遷移点をマッピングする状態空間アーキテクチャである物理インフォームド・マルチスケールマンバを提案する。
Human Connectome Project fMRIでは、PIMSMは重度の時間的コンテキストトランケーション下での堅牢性と表現安定性を改善している。
論文 参考訳(メタデータ) (2026-05-08T04:58:05Z) - DySCo: Dynamic Semantic Compression for Effective Long-term Time Series Forecasting [6.800568640042171]
時系列予測は、金融、気象学、エネルギーといった分野において重要である。
本稿では,これらの課題に対処する動的意味圧縮(DySCo)フレームワークを提案する。
DySCoは汎用的なプラグイン・アンド・プレイモジュールとして機能し、主要なモデルが長期的相関を捉える能力を大幅に強化する。
論文 参考訳(メタデータ) (2026-04-01T12:40:23Z) - MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。
MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。
このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
論文 参考訳(メタデータ) (2026-02-14T14:00:06Z) - Manifold-Aware Temporal Domain Generalization for Large Language Models [17.44312895876345]
大規模言語モデル(LLM)の実世界展開における時間分布シフト
本稿では,パラメータ効率のよい微調整条件下でのTDGの幾何学的再構成を提案する。
低階適応部分空間内の共有低次元多様体への時間的更新を制約するマニフォールド対応時間ロラ(MaT-LoRA)を提案する。
論文 参考訳(メタデータ) (2026-02-12T14:00:44Z) - A Representation-Consistent Gated Recurrent Framework for Robust Medical Time-Series Classification [0.0]
隠れ状態表現における時間的一貫性を強制する規則化された正規化戦略を導入するための表現一貫性を持つゲートリカレントフレームワーク(RC-GRF)を提案する。
提案するフレームワークはモデルに依存しないため,内部ゲーティング機構を変更することなく,既存のゲート型リカレントアーキテクチャに統合することができる。
論文 参考訳(メタデータ) (2026-02-10T17:16:49Z) - FreqFlow: Long-term forecasting using lightweight flow matching [3.5235875824926346]
本稿では、周波数領域における条件付きフローマッチングを利用して決定論的MSS予測を行う新しいフレームワークであるFreqFlowを紹介する。
FreqFlowは予測問題をスペクトル領域に変換し、振幅と位相シフトをモデル化する。
実世界のトラフィック速度、ボリューム、フローデータセットに関する実験は、FreqFlowが最先端の予測性能を達成することを実証している。
論文 参考訳(メタデータ) (2025-11-20T14:50:13Z) - The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。
鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。
我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
論文 参考訳(メタデータ) (2025-10-03T09:02:33Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳(メタデータ) (2025-09-03T18:05:02Z) - Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。
FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
論文 参考訳(メタデータ) (2025-06-10T18:40:20Z) - Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。
我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2025-05-17T23:15:17Z) - Efficient hierarchical Bayesian inference for spatio-temporal regression
models in neuroimaging [6.512092052306553]
例えば、M/EEG逆問題、タスクベースのfMRI分析のためのニューラルネットワークの符号化、温度モニタリングスキームなどがある。
モデルパラメータとノイズの内在的時間的ダイナミクスをモデル化した,新しい階層型フレキシブルベイズフレームワークを考案する。
論文 参考訳(メタデータ) (2021-11-02T15:50:01Z) - Supporting Optimal Phase Space Reconstructions Using Neural Network
Architecture for Time Series Modeling [68.8204255655161]
位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。
私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
論文 参考訳(メタデータ) (2020-06-19T21:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。