論文の概要: KOSS: Kalman-Optimal Selective State Spaces for Long-Term Sequence Modeling

• arxiv url: http://arxiv.org/abs/2512.16723v1
• Date: Thu, 18 Dec 2025 16:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.156216
• Title: KOSS: Kalman-Optimal Selective State Spaces for Long-Term Sequence Modeling
• Title（参考訳）: KOSS:Kalman-Optimal Selective State Spaces for Long-Term Sequence Modeling
• Authors: Lei Wang, Xin Tan, Mingwei Wang, Ying Zhang,
• Abstract要約: KOSSはカルマン最適選択状態空間モデルであり、選択を潜在状態の不確実性最小化として定式化する。 イントラクタによる選択的コピータスクでは、KOSSは79%以上の精度を実現し、ベースラインは20%以下である。 KOSSは、精度と安定性の両方において、最先端モデルよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 12.428861497195712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent selective state space models (SSMs), such as Mamba and Mamba-2, have demonstrated strong performance in sequence modeling owing to input-dependent selection mechanisms. However, these mechanisms lack theoretical grounding and cannot support context-aware selection from latent state dynamics. To address these limitations, we propose KOSS, a Kalman-optimal Selective State Space model that formulates selection as latent state uncertainty minimization. Derived from estimation theory, KOSS adopts a continuous-time latent update driven by a Kalman gain that dynamically modulates information propagation based on content and context, enabling a closed-loop, context-aware selectivity mechanism. To ensure stable computation and near-linear scalability, KOSS employs global spectral differentiation for frequency-domain derivative estimation, along with a segment-wise scan for hardware-efficient processing. On a selective copying task with distractors, KOSS achieves over 79\% accuracy while baselines drop below 20\%, demonstrating robust context-aware selection. Furthermore, across nine long-term forecasting benchmarks, KOSS reduces MSE by 2.92--36.23\% and consistently outperforms state-of-the-art models in both accuracy and stability. To assess real-world applicability, a case study on secondary surveillance radar (SSR) tracking confirms KOSS's robustness under irregular intervals and noisy conditions and demonstrates its effectiveness in real-world applications. Finally, supplementary experiments verify Kalman gain convergence and the frequency response of spectral differentiation, providing theoretical support for the proposed closed-loop design.
• Abstract（参考訳）: Mamba や Mamba-2 のような最近の選択状態空間モデル (SSM) は、入力依存選択機構によるシーケンスモデリングにおいて強い性能を示す。 しかし、これらのメカニズムには理論的基盤が欠如しており、潜在状態力学からの文脈認識の選択はサポートできない。 これらの制約に対処するため、我々はKOSS(Kalman-Optitimal Selective State Space Model)を提案し、選択を潜在状態の不確実性最小化として定式化する。 推定理論から派生したKOSSは、Kalmanゲインによって駆動される連続的な潜時更新を採用し、コンテンツとコンテキストに基づいて動的に情報伝達を変調し、クローズドループのコンテキスト対応の選択メカニズムを可能にする。 安定な計算とニア線形スケーラビリティを確保するため、KOSSは周波数領域の微分推定にグローバルなスペクトル微分と、ハードウェア効率の処理にセグメントワイドスキャンを用いる。 イントラクタによる選択的コピータスクでは、KOSSは79\%以上の精度を達成し、ベースラインは20\%以下に低下し、堅牢なコンテキスト認識選択を示す。 さらに、9つの長期予測ベンチマークにおいて、KOSS は MSE を 2.92--36.23\% 削減し、精度と安定性の両面で常に最先端のモデルを上回っている。 実世界の適用性を評価するため、二次監視レーダ(SSR)追跡のケーススタディでは、不規則な間隔と雑音条件下でのKOSSの堅牢性を確認し、実世界の応用においてその有効性を示す。 最後に、カルマンゲイン収束とスペクトル微分の周波数応答を補足実験により検証し、提案した閉ループ設計を理論的に支持する。

関連論文リスト

• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Domain-Incremental Continual Learning for Robust and Efficient Keyword Spotting in Resource Constrained Systems [0.0]
  キーワード エッジデバイスにデプロイされる小さなフットプリントモデルを備えたスポッティングシステムは、かなりの精度と堅牢性に直面する。 計算効率を維持しつつ,新しい領域に適応する継続的学習のための包括的フレームワークを提案する。 提案したパイプラインは、Mel Frequency Cepstral Coefficients(MFCC)とMel-spectrogram機能の両方を利用して、デュアルインプットの畳み込みニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2026-01-22T17:59:31Z)
• Controllable Probabilistic Forecasting with Stochastic Decomposition Layers [1.3995263206621]
  本稿では、決定論的機械学習気象モデルをアンサンブルシステムに変換するための分解層(SDL)を提案する。 SDLは3つのデコーダスケールでの学習摂動を、潜在駆動変調、画素ごとのノイズ、チャネルスケーリングを通じて適用する。 転送学習を通じてWXFormerに適用する場合、SDLはベースラインモデルをトレーニングするために必要な計算コストの2%未満を必要とする。
  論文  参考訳（メタデータ） (2025-12-21T17:10:00Z)
• FAST: Topology-Aware Frequency-Domain Distribution Matching for Coreset Selection [19.148841575715746]
  コアセット選択はデータセットをコンパクトで代表的なサブセットに圧縮し、ディープニューラルネットワークをトレーニングする際のエネルギーと計算負担を軽減する。 DNNフリーな分散マッチングコアセット選択フレームワークであるFASTを提案する。 FASTは評価された全てのベンチマークで最先端のコアセット選択法を著しく上回り、平均精度は9.12%向上した。
  論文  参考訳（メタデータ） (2025-11-22T09:24:57Z)
• Tractable Infinite-Horizon Stochastic Model Predictive Control for Quantum Filtering via Eigenstate Reduction [8.368020865178844]
  本研究では,有限次元量子システムのためのトラクタブルモデル予測制御フレームワークを提案する。 オンラインSMPCステップでは,フィルタの決定論的伝播と終端忠実度評価が要求される。 等価性と平均二乗安定性の保証を確立し,マルチレベルおよびIsing型システムに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-11-08T08:25:48Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Uncertainty Representations in State-Space Layers for Deep Reinforcement Learning under Partial Observability [59.758009422067]
  線形状態空間モデルにおいて閉形式ガウス推論を行う独立なカルマンフィルタ層を提案する。 効率的な線形リカレント層と同様に、Kalmanフィルタ層は並列スキャンを使用してシーケンシャルデータを処理している。 実験により、不確実性推論が意思決定の鍵となる問題においてカルマンフィルタ層が優れており、他のステートフルモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-25T11:22:29Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• On Uncertainty in Deep State Space Models for Model-Based Reinforcement Learning [21.63642325390798]
  RSSMは最適下推定方式を用いており、この推定を用いて訓練されたモデルは、基底真理系のアレター的不確かさを過大評価していることを示す。 そこで本稿では,変分リカレントカルマンネットワーク(VRKN)と呼ばれる,アレタリックおよびてんかんの不確かさをモデル化するための,よく理解されたコンポーネントに基づく代替手法を提案する。 実験の結果,RSSMの代わりにVRKNを用いることで,アレータリック不確実性を適切に把握するタスクのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-17T16:59:48Z)
• Dynamic Bayesian Network Auxiliary ABC-SMC for Hybrid Model Bayesian Inference to Accelerate Biomanufacturing Process Mechanism Learning and Robust Control [2.727760379582405]
  本稿では,バイオプロセッシング機構の複雑な因果関係を特徴付ける知識グラフハイブリッドモデルを提案する。 非線形反応、部分的に観察された状態、非定常力学を含む重要な性質を忠実に捉えることができる。 我々は、メカニズム学習を容易にし、ロバストなプロセス制御を支援する後部分布モデルの不確かさを導出する。
  論文  参考訳（メタデータ） (2022-05-05T02:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。