論文の概要: Efficient Learning of Deep State Space Models via Importance Smoothing

• arxiv url: http://arxiv.org/abs/2605.21108v1
• Date: Wed, 20 May 2026 12:41:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.671543
• Title: Efficient Learning of Deep State Space Models via Importance Smoothing
• Title（参考訳）: 重要度平滑化による深部状態空間モデルの効率的な学習
• Authors: John-Joseph Brady, Nikolas Nusken, Yunpeng Li,
• Abstract要約: 深部宇宙モデル(DSSM)の大規模化は依然として困難である。 パラダイム間のギャップを埋める新しい訓練手法として,モンテカルロ変分法(PVMC)を提案する。 提案手法は,一連のベースライン実験において,最先端ないし優れた結果が得られ,最も高速なSMC手法よりも10倍の速度でトレーニングを行う。
• 参考スコア（独自算出の注目度）: 1.608358834512617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent state space systems are ubiquitous in statistical modelling, arising naturally when a time series is observed through a noisy measurement function, however training deep state space models (DSSM) at scale remains difficult. Two largely distinct strategies and literatures have developed around the training of DSSMs. Firstly, auto-encoding DSSMs train generative DSSMs by optimising a variational lower bound. Secondly, DSSMs trained by back-propagating the outputs of a classical sequential Monte Carlo algorithm (SMC). Such approaches can train DSSMs for discriminative as well as generative tasks, however, due to the sequentiality of their forward pass, scale poorly on modern hardware. We propose a new training method \emph{parallel variational Monte Carlo} (PVMC) that bridges the gap between the paradigms, and can be used robustly to train DSSMs for both discriminative and generative tasks. Our method achieves state-of-the-art or better results on a set of baseline experiments and trains $10\times$ faster than the fastest competing SMC approach.
• Abstract（参考訳）: 遅延状態空間系は統計モデリングにおいてユビキタスであり、ノイズ測定関数によって時系列が観測されると自然に発生するが、大規模な深部宇宙モデル(DSSM)の訓練は依然として困難である。 2つの異なる戦略と文献がDSSMの訓練を中心に発展してきた。 まず、自動符号化DSSMは変分下界を最適化することにより、生成DSSMを訓練する。 第二に、DSSMは古典的シーケンシャルモンテカルロアルゴリズム(SMC)の出力をバックプロパゲートすることで訓練される。 このような手法は、DSSMを識別や生成タスクのために訓練することができるが、前方パスの逐次性のため、現代のハードウェアではスケールが不十分である。 本稿では,パラダイム間のギャップを埋める新しいトレーニング手法である<emph{parallel variational Monte Carlo} (PVMC)を提案する。 提案手法は,一連のベースライン実験において,最先端ないし優れた結果が得られ,最も高速なSMC手法よりも10\times$の速度でトレーニングを行う。

関連論文リスト

• Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models [62.362971723881095]
  状態空間モデル(SSM)は効率性と表現性の間に根本的なトレードオフに直面している。 我々はFlash PD-SSMを提案する。これは、広く使われている構造化SSMに匹敵するスループットを実現し、表現性を保証する。 我々は、Flash PD-SSMが競合するSSM法の中で新しい最先端(SoTA)の精度を定義していることを示す。
  論文  参考訳（メタデータ） (2026-05-18T22:06:33Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Regularization-Based Efficient Continual Learning in Deep State-Space Models [7.709959121230049]
  本稿では,大惨事な忘れを伴わずに,進化するタスクに適応できる連続学習DSSMを提案する。 提案するCLDSSMは、正規化に基づく継続学習(CL)手法を統合し、一定の計算とメモリコストで効率的な更新を保証する。
  論文  参考訳（メタデータ） (2024-03-15T09:14:18Z)
• Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。