論文の概要: Single Trajectory Nonparametric Learning of Nonlinear Dynamics
- arxiv url: http://arxiv.org/abs/2202.08311v1
- Date: Wed, 16 Feb 2022 19:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-19 06:36:55.757214
- Title: Single Trajectory Nonparametric Learning of Nonlinear Dynamics
- Title（参考訳）: 非線形ダイナミクスの単一軌道非パラメトリック学習
- Authors: Ingvar Ziemann, Henrik Sandberg, Nikolai Matni
- Abstract要約: 力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。
我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。
我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
- 参考スコア（独自算出の注目度）: 8.438421942654292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a single trajectory of a dynamical system, we analyze the performance
of the nonparametric least squares estimator (LSE). More precisely, we give
nonasymptotic expected $l^2$-distance bounds between the LSE and the true
regression function, where expectation is evaluated on a fresh, counterfactual,
trajectory. We leverage recently developed information-theoretic methods to
establish the optimality of the LSE for nonparametric hypotheses classes in
terms of supremum norm metric entropy and a subgaussian parameter. Next, we
relate this subgaussian parameter to the stability of the underlying process
using notions from dynamical systems theory. When combined, these developments
lead to rate-optimal error bounds that scale as $T^{-1/(2+q)}$ for suitably
stable processes and hypothesis classes with metric entropy growth of order
$\delta^{-q}$. Here, $T$ is the length of the observed trajectory, $\delta \in
\mathbb{R}_+$ is the packing granularity and $q\in (0,2)$ is a complexity term.
Finally, we specialize our results to a number of scenarios of practical
interest, such as Lipschitz dynamics, generalized linear models, and dynamics
described by functions in certain classes of Reproducing Kernel Hilbert Spaces
(RKHS).
- Abstract（参考訳）: 力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。
より正確には、lse と真の回帰関数の間の非漸近的期待値 $l^2$- distance 界を与える。
我々は最近開発された情報理論手法を利用して、超準ノルム計量エントロピーと準ガウスパラメータを用いて、非パラメトリック仮説クラスに対するLSEの最適性を確立する。
次に、この準ガウスパラメータを力学系理論の概念を用いて基礎プロセスの安定性に関連付ける。
これらの発展が組み合わされると、次数$\delta^{-q}$の計量エントロピー成長を持つ安定なプロセスと仮説クラスに対して、$T^{-1/(2+q)}$としてスケールするレート最適誤差境界が導かれる。
ここで、$T$ は観測軌跡の長さ、$\delta \in \mathbb{R}_+$ はパッケージ粒度、$q\in (0,2)$ は複雑性項である。
最後に、我々は、リプシッツ力学、一般化線形モデル、および再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心事のシナリオを専門とする。
関連論文リスト
- Derivatives of Stochastic Gradient Descent in parametric optimization [16.90974792716146]
グラディエントDescent (SGD) の反復剤の誘導体の挙動について検討する。
元のSGDの収束によって摂動される異なる目的関数上の不正確なSGDによって駆動されることを示す。
具体的には、定常的なステップサイズでは、これらの導関数は解導関数を中心とするノイズボール内で安定化し、消滅したステップサイズでは$O(log(k)2 / k)$収束率を示すことを示した。
論文 参考訳（メタデータ） (2024-05-24T19:32:48Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Globally Convergent Accelerated Algorithms for Multilinear Sparse
Logistic Regression with $\ell_0$-constraints [2.323238724742687]
多重線形ロジスティック回帰は多次元データ解析の強力なツールである。
本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。
また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
論文 参考訳（メタデータ） (2023-09-17T11:05:08Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。
我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
論文 参考訳（メタデータ） (2022-05-27T19:39:24Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。