論文の概要: UnHiPPO: Uncertainty-aware Initialization for State Space Models

• arxiv url: http://arxiv.org/abs/2506.05065v1
• Date: Thu, 05 Jun 2025 14:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.749321
• Title: UnHiPPO: Uncertainty-aware Initialization for State Space Models
• Title（参考訳）: UnHiPPO: 状態空間モデルに対する不確かさを意識した初期化
• Authors: Marten Lienen, Abdullah Saydemir, Stephan Günnemann,
• Abstract要約: 状態空間モデルは、シーケンス問題の支配的なモデルクラスとして出現している。 HiPPOはデータがノイズフリーであると仮定する。 我々は、測定ノイズを伴ってHiPPO理論を拡張し、状態空間モデル力学のための不確実性を考慮した枠組みを導出する。
• 参考スコア（独自算出の注目度）: 49.843505326598596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State space models are emerging as a dominant model class for sequence problems with many relying on the HiPPO framework to initialize their dynamics. However, HiPPO fundamentally assumes data to be noise-free; an assumption often violated in practice. We extend the HiPPO theory with measurement noise and derive an uncertainty-aware initialization for state space model dynamics. In our analysis, we interpret HiPPO as a linear stochastic control problem where the data enters as a noise-free control signal. We then reformulate the problem so that the data become noisy outputs of a latent system and arrive at an alternative dynamics initialization that infers the posterior of this latent system from the data without increasing runtime. Our experiments show that our initialization improves the resistance of state-space models to noise both at training and inference time. Find our implementation at https://cs.cit.tum.de/daml/unhippo.
• Abstract（参考訳）: 状態空間モデルはシーケンス問題において支配的なモデルクラスとして現れており、多くの人はその力学を初期化するためにHiPPOフレームワークに依存している。 しかし、HiPPOは基本的にデータはノイズフリーであると仮定する。 我々は、測定ノイズでHiPPO理論を拡張し、状態空間モデル力学に対する不確実性を考慮した初期化を導出する。 本分析では,HiPPOを線形確率制御問題と解釈し,そのデータをノイズフリー制御信号として入力する。 次に、遅延システムのノイズの多い出力となるように問題を再構成し、この遅延システムの後方をランタイムを増大させることなく、データから推論する別の動的初期化に到達する。 実験の結果,初期化により,トレーニング時と推論時の両方で,状態空間モデルのノイズ耐性が向上することがわかった。 実装はhttps://cs.cit.tum.de/daml/unhippoで確認します。

関連論文リスト

• NoiseAR: AutoRegressing Initial Noise Prior for Diffusion Models [50.51982871889886]
  NoiseARは拡散モデルに先立つ自己回帰初期雑音の新しい手法である。 空間パッチやトークン上での自己回帰的確率的モデリングタスクとして,初期雑音先行パラメータの生成を定式化する。 実験により,ノイズレーダが初期雑音を発生させることで,サンプル品質が向上し,条件付き入力との整合性が向上することを示した。
  論文  参考訳（メタデータ） (2025-06-02T05:32:35Z)
• TrackDiffuser: Nearly Model-Free Bayesian Filtering with Diffusion Model [23.40376181606577]
  本稿では,条件拡散モデルとしてベイズフィルタを再構成することにより,両方の課題に対処する生成フレームワークであるTrackDiffuserを提案する。 提案手法は,不正確なSSMの影響を軽減するために,データからシステムダイナミクスを暗黙的に学習する。 TrackDiffuserはSSMの不正確性に顕著な堅牢性を示し、実世界の状態推定問題に対する実用的な解決策を提供する。
  論文  参考訳（メタデータ） (2025-02-08T16:21:18Z)
• Stochastic Control for Fine-tuning Diffusion Models: Optimality, Regularity, and Convergence [11.400431211239958]
  拡散モデルは生成モデリングの強力なツールとして登場してきた。 微調整拡散モデルのための制御フレームワークを提案する。 PI-FTは線形速度で大域収束することを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:55:46Z)
• Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
  ガウス過程 (GP) はフレキシブルな非線形回帰法である。 これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。 これは外挿または弱い重なり合いの条件下では特に有用である。
  論文  参考訳（メタデータ） (2024-07-15T05:09:50Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Sub-linear Regret in Adaptive Model Predictive Control [56.705978425244496]
  本稿では,STT-MPC (Self-Tuning tube-based Model Predictive Control) について述べる。 システム力学を最初に認識したアルゴリズムと比較して,アルゴリズムの後悔を解析する。
  論文  参考訳（メタデータ） (2023-10-07T15:07:10Z)
• Learning non-Markovian Decision-Making from State-only Sequences [57.20193609153983]
  非マルコフ決定過程(nMDP)を用いた状態のみ列のモデルに基づく模倣を開発する。 非マルコフ制約をもつ経路計画課題において提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-06-27T02:26:01Z)
• Hierarchical model reduction driven by machine learning for parametric advection-diffusion-reaction problems in the presence of noisy data [0.0]
  本稿では,雑音データの存在下でのパラメトリック楕円問題に対する信頼度低減モデルを生成するための新しい手法を提案する。 ノイズの影響を受ければ,方向方向のHiPODの精度が低下することを示す。 我々は、無関係なノイズからデータ中の関連する物理的特徴をよりよく識別する機械学習フィッティングモデルに取って代わる。
  論文  参考訳（メタデータ） (2022-04-01T16:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。