論文の概要: Long-Context Linear System Identification

• arxiv url: http://arxiv.org/abs/2410.05690v1
• Date: Tue, 8 Oct 2024 05:15:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 16:59:10.168841
• Title: Long-Context Linear System Identification
• Title（参考訳）: 長期線形システム同定
• Authors: Oğuz Kaan Yüksel, Mathieu Even, Nicolas Flammarion,
• Abstract要約: 本稿は,時間帯の動的システムの状態$x_t$が,長さ$p$の固定コンテキストウィンドウ上の以前の状態$x_s$に線形に依存するという,長期コンテキスト線形システム同定の問題に対処する。 我々は、幅広い種類のシステムに対する対数的因子までのパラメトリックレートに一致するサンプル複雑性を定め、一階依存のみを考慮した以前の研究を拡張した。
• 参考スコア（独自算出の注目度）: 20.835344826113307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of long-context linear system identification, where the state $x_t$ of a dynamical system at time $t$ depends linearly on previous states $x_s$ over a fixed context window of length $p$. We establish a sample complexity bound that matches the i.i.d. parametric rate up to logarithmic factors for a broad class of systems, extending previous works that considered only first-order dependencies. Our findings reveal a learning-without-mixing phenomenon, indicating that learning long-context linear autoregressive models is not hindered by slow mixing properties potentially associated with extended context windows. Additionally, we extend these results to (i) shared low-rank representations, where rank-regularized estimators improve rates with respect to dimensionality, and (ii) misspecified context lengths in strictly stable systems, where shorter contexts offer statistical advantages.
• Abstract（参考訳）: 本稿は,時間帯の動的システムの状態$x_t$が,長さ$p$の固定コンテキストウィンドウ上の以前の状態$x_s$に線形に依存するという,長期コンテキスト線形システム同定の問題に対処する。 我々は、幅広い種類のシステムに対する対数的因子までのパラメトリックレートに一致するサンプル複雑性を定め、一階依存のみを考慮した以前の研究を拡張した。 この結果から,長期コンテキスト線形自己回帰モデルの学習は,コンテキストウィンドウの拡張に関連がある可能性のある遅い混合特性によって妨げられなくなることが示唆された。 さらに、これらの結果を拡張します。 (i)階数正規化推定器が次元性に関して速度を向上する低ランク表現 (II) 厳密な安定なシステムでは、短いコンテキストが統計的に有利な場合において、不特定コンテキスト長が成立する。

関連論文リスト

• An L-BFGS-B approach for linear and nonlinear system identification under $\ell_1$- and group-Lasso regularization [0.0]
  線形および非線形離散時間状態空間モデルを同定するための非常に効率的な数値計算法を提案する。 提案手法のPython実装は、jax-sysidパッケージで利用可能である。
  論文  参考訳（メタデータ） (2024-03-06T16:17:34Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)
• Learning with little mixing [9.574025613149871]
  マーチンゲール差雑音を考慮した実測可能な時系列フレームワークにおける正方損失について検討する。 この結果から, トラジェクトリ過収縮条件が成立するたびに, 従属データに対する最小二乗推定器のリスクが, バーンイン時間後におけるイドレートの順に一致していることが示唆された。
  論文  参考訳（メタデータ） (2022-06-16T16:06:47Z)
• Online Control of Unknown Time-Varying Dynamical Systems [48.75672260851758]
  非確率制御モデルにおいて、未知のダイナミクスを持つ時間変化線形系のオンライン制御について検討する。 本研究では,反省行動 (SLS) や反省反応 (Youla) , 線形フィードバック政策 (線形フィードバックポリシー) といった一般的な政策のクラスに関して, 後悔すべき境界について検討する。
  論文  参考訳（メタデータ） (2022-02-16T06:57:14Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Consistency and Rate of Convergence of Switched Least Squares System Identification for Autonomous Switched Linear Systems [1.1470070927586016]
  切替線形システムの識別のための切替最小二乗法を提案する。 我々のデータ依存収束速度は、ほぼ確実に、システム識別エラーが$mathcalObig(sqrtlog(T)/T big)$であることを示している。
  論文  参考訳（メタデータ） (2021-12-20T18:56:29Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Improved rates for prediction and identification of partially observed linear dynamical systems [4.68299658663016]
  部分的な観測から線形時間イン力学系の同定は制御理論の基本的な問題である。 本稿では,システム固有の$d$に依存する非漸近統計率でそのようなシステムを学習するアルゴリズムを提案する。 本アルゴリズムは,ハンケル行列に適用したマルチスケール低ランク近似SVDに基づく。
  論文  参考訳（メタデータ） (2020-11-19T18:04:18Z)
• High-Dimensional Sparse Linear Bandits [67.9378546011416]
  データ・ポーア・システマティクスにおける疎線形包帯に対して、新しい$Omega(n2/3)$ dimension-free minimax regret lower boundを導出する。 また、関連する特徴に対する信号の大きさに関する追加の仮定の下で、次元のない$O(sqrtn)$ regret上界も証明する。
  論文  参考訳（メタデータ） (2020-11-08T16:48:11Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• No-Regret Prediction in Marginally Stable Systems [37.178095559618654]
  本稿では,線形力学系におけるオンライン予測の問題点について考察する。 本手法を自己回帰フィルタの学習に適用することにより,部分的に観察された条件下での対数的後悔も達成できる。
  論文  参考訳（メタデータ） (2020-02-06T01:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。