論文の概要: Distribution learning via neural differential equations: a nonparametric
statistical perspective
- arxiv url: http://arxiv.org/abs/2309.01043v1
- Date: Sun, 3 Sep 2023 00:21:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 23:37:47.820809
- Title: Distribution learning via neural differential equations: a nonparametric
statistical perspective
- Title（参考訳）: ニューラル微分方程式による分布学習 : 非パラメトリック統計的視点
- Authors: Youssef Marzouk, Zhi Ren, Sven Wang, and Jakob Zech
- Abstract要約: この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
- 参考スコア（独自算出の注目度）: 1.4436965372953483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ordinary differential equations (ODEs), via their induced flow maps, provide
a powerful framework to parameterize invertible transformations for the purpose
of representing complex probability distributions. While such models have
achieved enormous success in machine learning, particularly for generative
modeling and density estimation, little is known about their statistical
properties. This work establishes the first general nonparametric statistical
convergence analysis for distribution learning via ODE models trained through
likelihood maximization. We first prove a convergence theorem applicable to
arbitrary velocity field classes $\mathcal{F}$ satisfying certain simple
boundary constraints. This general result captures the trade-off between
approximation error (`bias') and the complexity of the ODE model (`variance').
We show that the latter can be quantified via the $C^1$-metric entropy of the
class $\mathcal F$. We then apply this general framework to the setting of
$C^k$-smooth target densities, and establish nearly minimax-optimal convergence
rates for two relevant velocity field classes $\mathcal F$: $C^k$ functions and
neural networks. The latter is the practically important case of neural ODEs.
Our proof techniques require a careful synthesis of (i) analytical stability
results for ODEs, (ii) classical theory for sieved M-estimators, and (iii)
recent results on approximation rates and metric entropies of neural network
classes. The results also provide theoretical insight on how the choice of
velocity field class, and the dependence of this choice on sample size $n$
(e.g., the scaling of width, depth, and sparsity of neural network classes),
impacts statistical performance.
- Abstract（参考訳）: 通常の微分方程式(ODE)は、誘導フローマップを通じて、複素確率分布を表すために可逆変換をパラメータ化するための強力な枠組みを提供する。
このようなモデルは機械学習、特に生成的モデリングや密度推定で大きな成功を収めているが、統計的な性質についてはほとんど知られていない。
この研究は、最大化によって訓練されたODEモデルによる分布学習のための最初の一般非パラメトリック統計収束解析を確立する。
まず、ある種の単純な境界制約を満たす任意の速度場クラス $\mathcal{f}$ に適用可能な収束定理を証明する。
この一般的な結果は近似誤差(`bias')とODEモデルの複雑さ(`variance')の間のトレードオフを捉えます。
後者は、クラス $\mathcal F$ の $C^1$-metric entropy によって定量化できることを示す。
次に、この一般フレームワークを$C^k$-smoothターゲット密度の設定に適用し、2つの関連する速度場クラスに対する最小最適収束率を$\mathcal F$:$C^k$関数とニューラルネットワークに設定する。
後者は神経オデムの事実上の重要な場合である。
我々の証明技術は慎重に合成する必要がある
(i)odeの解析安定性結果
(ii)ジーヴドm推定器の古典理論、及び
(iii)ニューラルネットワーククラスの近似速度と計量エントロピーに関する最近の結果
結果はまた、速度場クラスの選択方法に関する理論的洞察を与え、この選択がサンプルサイズ$n$(例えば、ニューラルネットワーククラスの幅、深さ、スパーシティのスケーリング)に依存することにより、統計的パフォーマンスに影響を及ぼす。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Neural Estimation of Statistical Divergences [24.78742908726579]
ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法
特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。
NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:42:44Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Non-Asymptotic Performance Guarantees for Neural Estimation of
$\mathsf{f}$-Divergences [22.496696555768846]
統計的距離は確率分布の相似性を定量化する。
このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。
本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
論文 参考訳（メタデータ） (2021-03-11T19:47:30Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。