論文の概要: Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions

• arxiv url: http://arxiv.org/abs/2105.10102v2
• Date: Mon, 24 May 2021 04:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 11:07:15.852964
• Title: Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions
• Title（参考訳）: エルゴード型 it\^o 拡散の機械学習における不変統計量の誤差境界
• Authors: He Zhang, John Harlim, Xiantao Li
• Abstract要約: エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。 ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
• 参考スコア（独自算出の注目度）: 8.627408356707525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the theoretical underpinnings of machine learning of ergodic It\^o diffusions. The objective is to understand the convergence properties of the invariant statistics when the underlying system of stochastic differential equations (SDEs) is empirically estimated with a supervised regression framework. Using the perturbation theory of ergodic Markov chains and the linear response theory, we deduce a linear dependence of the errors of one-point and two-point invariant statistics on the error in the learning of the drift and diffusion coefficients. More importantly, our study shows that the usual $L^2$-norm characterization of the learning generalization error is insufficient for achieving this linear dependence result. We find that sufficient conditions for such a linear dependence result are through learning algorithms that produce a uniformly Lipschitz and consistent estimator in the hypothesis space that retains certain characteristics of the drift coefficients, such as the usual linear growth condition that guarantees the existence of solutions of the underlying SDEs. We examine these conditions on two well-understood learning algorithms: the kernel-based spectral regression method and the shallow random neural networks with the ReLU activation function.
• Abstract（参考訳）: 本稿では,エルゴディックIt\^o拡散の機械学習の理論的基盤について考察する。 その目的は、確率微分方程式(SDE)の基礎系が教師付き回帰フレームワークを用いて経験的に推定されるとき、不変統計量の収束特性を理解することである。 エルゴード型マルコフ鎖の摂動理論と線形応答理論を用いて、ドリフト係数と拡散係数の学習における誤差に関する1点および2点不変統計量の誤差の線形依存を導出する。 さらに,この線形依存結果を達成するには,学習一般化誤差の通常の$l^2$-normのキャラクタリゼーションが不十分であることを示す。 このような線形依存結果の十分な条件は、基礎となるSDEの解の存在を保証する通常の線形成長条件のような、ドリフト係数の特定の特性を保持する仮説空間における一様リプシッツと一貫した推定器を生成する学習アルゴリズムによって得られる。 本稿では、カーネルベーススペクトル回帰法とReLUアクティベーション関数を持つ浅層ランダムニューラルネットワークの2つのよく理解された学習アルゴリズムについて検討する。

関連論文リスト

• Uncertainty quantification for Markov chains with application to temporal difference learning [63.49764856675643]
  マルコフ連鎖のベクトル値および行列値関数に対する新しい高次元濃度不等式とベリー・エッシー境界を開発する。 我々は、強化学習における政策評価に広く用いられているTD学習アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Evidential Physics-Informed Neural Networks [0.0]
  本稿では,エビデンシャル・ディープ・ラーニングの原理に基づいて定式化された物理インフォームド・ニューラル・ニューラルネットワークの新たなクラスを提案する。 1次元および2次元非線形微分方程式を含む逆問題に対して、我々のモデルを適用する方法を示す。
  論文  参考訳（メタデータ） (2025-01-27T10:01:10Z)
• Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
  非ガウス共変量の設定における線形回帰の計算について検討する。 本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2024-12-04T20:31:47Z)
• Modify Training Directions in Function Space to Reduce Generalization Error [9.821059922409091]
  本稿では,ニューラルネットワーク関数空間におけるニューラルタンジェントカーネルとフィッシャー情報行列の固有分解に基づく自然勾配降下法を提案する。 固有分解と統計理論から理論的手法を用いて学習したニューラルネットワーク関数の一般化誤差を明示的に導出する。
  論文  参考訳（メタデータ） (2023-07-25T07:11:30Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)
• Amortized backward variational inference in nonlinear state-space models [0.0]
  変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
  論文  参考訳（メタデータ） (2022-06-01T08:35:54Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。