論文の概要: SpectraLDS: Provable Distillation for Linear Dynamical Systems
- arxiv url: http://arxiv.org/abs/2505.17868v1
- Date: Fri, 23 May 2025 13:16:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:34.098732
- Title: SpectraLDS: Provable Distillation for Linear Dynamical Systems
- Title（参考訳）: SpectraLDS:線形力学系における予測蒸留
- Authors: Devan Shah, Shlomo Fortgang, Sofiia Druchyna, Elad Hazan,
- Abstract要約: 対称線形力学系を同定するための最初の証明可能な手法を提案する。
我々のアプローチは、対称LSDを固定スペクトル変換によって学習可能な畳み込みとして表現する最近の研究に基づいている。
- 参考スコア（独自算出の注目度）: 15.044978571406254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the first provable method for identifying symmetric linear dynamical systems (LDS) with accuracy guarantees that are independent of the systems' state dimension or effective memory. Our approach builds upon recent work that represents symmetric LDSs as convolutions learnable via fixed spectral transformations. We show how to invert this representation, thereby recovering an LDS model from its spectral transform and yielding an end-to-end convex optimization procedure. This distillation preserves predictive accuracy while enabling constant-time and constant-space inference per token, independent of sequence length. We evaluate our method, SpectraLDS, as a component in sequence prediction architectures and demonstrate that accuracy is preserved while inference efficiency is improved on tasks such as language modeling.
- Abstract（参考訳）: 本稿では,システムの状態次元や有効メモリに依存しない精度保証付き対称線形力学系(LDS)を同定するための最初の証明可能な手法を提案する。
我々のアプローチは、対称LSDを固定スペクトル変換によって学習可能な畳み込みとして表現する最近の研究に基づいている。
この表現を逆転し、スペクトル変換からLSDモデルを復元し、エンドツーエンドの凸最適化手順を得る方法を示す。
この蒸留は、シーケンスの長さによらず、トークン当たりの定数時間と定数空間の推論を可能にしながら、予測精度を保っている。
我々は,提案手法であるSpectraLDSをシーケンス予測アーキテクチャのコンポーネントとして評価し,推論効率が言語モデリングなどのタスクで向上する一方で,精度が維持されることを示す。
関連論文リスト
- A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳（メタデータ） (2024-02-26T04:39:01Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - System Identification for Continuous-time Linear Dynamical Systems [0.7510165488300368]
潜在線形力学系の連続時間への学習の一般化は、ハイブリッドカルマンフィルタの使用を拡大する可能性がある。
トグルスイッチ型遺伝回路を表す潜伏多変量Fokker-Planck SDEのパラメータを学習し,本手法を適用した。
論文 参考訳（メタデータ） (2023-08-23T05:53:13Z) - Spectral learning of Bernoulli linear dynamical systems models [21.3534487101893]
本研究では,線形線形力学系モデルの高速かつ効率的なフィッティングのための学習法を開発した。
提案手法は,従来の部分空間同定手法をベルヌーイ設定に拡張する。
そこで本研究では,マウスの知覚決定タスクを実行することによって,実世界の環境を推定する手法を提案する。
論文 参考訳（メタデータ） (2023-03-03T16:29:12Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - Online Stochastic Gradient Descent Learns Linear Dynamical Systems from
A Single Trajectory [1.52292571922932]
本研究では,システムを記述する未知の重み行列がブルノフスキー正則形式であれば,システムの未知の基底真理を効率的に推定できることを示した。
具体的には、具体的な境界を導出することにより、SGDは基底真理重みから任意の小さなフロベニウスノルム距離に期待して線型収束することを示す。
論文 参考訳（メタデータ） (2021-02-23T17:48:39Z) - Optimally adaptive Bayesian spectral density estimation for stationary
and nonstationary processes [0.0]
本稿では、ガウス過程を仮定した定常時系列および非定常時系列のスペクトル密度を推定する既存の方法を改善する。
適切な固有分解を最適化することにより、簡単な周期構造と複雑な周期構造の両方でデータをより適切にモデル化する。
論文 参考訳（メタデータ） (2020-03-04T23:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。