論文の概要: System Identification via Nuclear Norm Regularization
- arxiv url: http://arxiv.org/abs/2203.16673v1
- Date: Wed, 30 Mar 2022 20:56:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-02 09:57:52.441224
- Title: System Identification via Nuclear Norm Regularization
- Title（参考訳）: 核規範正規化によるシステム同定
- Authors: Yue Sun and Samet Oymak and Maryam Fazel
- Abstract要約: 本稿では,ハンケル核ノルム正規化による低次線形系同定問題について検討する。
この正規化に関する新しい統計解析を提供し、非正規化常用最小二乗推定器(OLS)と慎重に対比する。
- 参考スコア（独自算出の注目度）: 44.9687872697492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper studies the problem of identifying low-order linear systems via
Hankel nuclear norm regularization. Hankel regularization encourages the
low-rankness of the Hankel matrix, which maps to the low-orderness of the
system. We provide novel statistical analysis for this regularization and
carefully contrast it with the unregularized ordinary least-squares (OLS)
estimator. Our analysis leads to new bounds on estimating the impulse response
and the Hankel matrix associated with the linear system. We first design an
input excitation and show that Hankel regularization enables one to recover the
system using optimal number of observations in the true system order and
achieve strong statistical estimation rates. Surprisingly, we demonstrate that
the input design indeed matters, by showing that intuitive choices such as
i.i.d. Gaussian input leads to provably sub-optimal sample complexity. To
better understand the benefits of regularization, we also revisit the OLS
estimator. Besides refining existing bounds, we experimentally identify when
regularized approach improves over OLS: (1) For low-order systems with slow
impulse-response decay, OLS method performs poorly in terms of sample
complexity, (2) Hankel matrix returned by regularization has a more clear
singular value gap that ease identification of the system order, (3) Hankel
regularization is less sensitive to hyperparameter choice. Finally, we
establish model selection guarantees through a joint train-validation procedure
where we tune the regularization parameter for near-optimal estimation.
- Abstract（参考訳）: 本稿では,ハンケル核ノルム正規化による低次線形系同定の問題について述べる。
ハンケル正則化はハンケル行列の低ランク性を促進し、システムの低次性にマップする。
この正規化のための新しい統計解析を行い、非正規化常用最小二乗推定器と慎重に対比する。
本解析は,インパルス応答とハンケル行列を線形系に関連付けて推定する新たな限界をもたらす。
まず,入力励振の設計を行い,ハンケル正則化により,真の系順に最適観測数を用いてシステムを復元し,強い統計的推定率が得られることを示す。
驚いたことに、我々は入力設計が本当に重要であることを証明し、すなわちガウス入力のような直感的な選択が証明可能な準最適サンプル複雑性をもたらすことを示した。
正規化の利点をよりよく理解するために、OLS推定器を再検討する。
1) 遅いインパルス応答減衰を持つ低次系では, OLS法はサンプルの複雑さの観点からは不十分であり, (2) 正規化によって得られたハンケル行列は, システム順序の同定が容易な特異値ギャップを有し, (3) ハンケル正則化はハイパーパラメータ選択に敏感ではない。
最後に,準最適推定のための正規化パラメータを調整した共同列車検証手法によりモデル選択保証を確立する。
関連論文リスト
- A least-square method for non-asymptotic identification in linear switching control [17.938732931331064]
基礎となる部分観測線形力学系は、既知の候補モデルの有限集合内にあることが知られている。
線形最小二乗法の非漸近解析における最近の進歩を活用して、この問題の有限時間サンプル複雑性を特徴づける。
基礎となるシステムの未知のパラメータを識別するデータ駆動型スイッチング戦略を提案する。
論文 参考訳（メタデータ） (2024-04-11T20:55:38Z) - An L-BFGS-B approach for linear and nonlinear system identification under $\ell_1$- and group-Lasso regularization [0.0]
線形および非線形離散時間状態空間モデルを同定するための非常に効率的な数値計算法を提案する。
提案手法のPython実装は、jax-sysidパッケージで利用可能である。
論文 参考訳（メタデータ） (2024-03-06T16:17:34Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Efficient learning of hidden state LTI state space models of unknown
order [0.7614628596146599]
隠れ状態線形時間不変量(LTI)状態空間システムのセットアップに伴う2つの関連する推定問題に対処する。
すなわち、システムのマルコフパラメータの有限数の推定と、システムの最小化の推定である。
どちらの問題に対しても、様々な推定誤差上限、$rank$リカバリ条件、サンプル複雑性推定という形で統計的保証を提供する。
論文 参考訳（メタデータ） (2022-02-03T14:59:13Z) - Sparse Bayesian Deep Learning for Dynamic System Identification [14.040914364617418]
本稿では,システム同定のためのディープニューラルネットワーク(DNN)の疎ベイズ処理を提案する。
提案されたベイズ的アプローチは、限界確率/モデル証拠近似による課題を緩和する原則的な方法を提供する。
提案手法の有効性を線形および非線形システム同定ベンチマークで示す。
論文 参考訳（メタデータ） (2021-07-27T16:09:48Z) - A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix
Completion [60.52730146391456]
そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。
特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。
既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
論文 参考訳（メタデータ） (2020-08-14T18:47:58Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳（メタデータ） (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。