論文の概要: Distribution learning via neural differential equations: minimal energy regularization and approximation theory

• arxiv url: http://arxiv.org/abs/2502.03795v1
• Date: Thu, 06 Feb 2025 05:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:29.473983
• Title: Distribution learning via neural differential equations: minimal energy regularization and approximation theory
• Title（参考訳）: ニューラル微分方程式による分布学習:最小エネルギー正規化と近似理論
• Authors: Youssef Marzouk, Zhi Ren, Jakob Zech,
• Abstract要約: 微分常微分方程式(ODE)は、複素確率分布を近似するのに使用できる可逆輸送写像の表現的表現を提供する。 大規模な輸送写像のクラス$T$に対して、写像によって誘導される変位の直線$(1-t)x + t(tTx)$ を実現する時間依存ODE速度場が存在することを示す。 このような速度場は、特定の最小エネルギー正規化を含む訓練対象の最小値であることを示す。
• 参考スコア（独自算出の注目度）: 1.5771347525430774
• License:
• Abstract: Neural ordinary differential equations (ODEs) provide expressive representations of invertible transport maps that can be used to approximate complex probability distributions, e.g., for generative modeling, density estimation, and Bayesian inference. We show that for a large class of transport maps $T$, there exists a time-dependent ODE velocity field realizing a straight-line interpolation $(1-t)x + tT(x)$, $t \in [0,1]$, of the displacement induced by the map. Moreover, we show that such velocity fields are minimizers of a training objective containing a specific minimum-energy regularization. We then derive explicit upper bounds for the $C^k$ norm of the velocity field that are polynomial in the $C^k$ norm of the corresponding transport map $T$; in the case of triangular (Knothe--Rosenblatt) maps, we also show that these bounds are polynomial in the $C^k$ norms of the associated source and target densities. Combining these results with stability arguments for distribution approximation via ODEs, we show that Wasserstein or Kullback--Leibler approximation of the target distribution to any desired accuracy $\epsilon > 0$ can be achieved by a deep neural network representation of the velocity field whose size is bounded explicitly in terms of $\epsilon$, the dimension, and the smoothness of the source and target densities. The same neural network ansatz yields guarantees on the value of the regularized training objective.
• Abstract（参考訳）: ニューラル常微分方程式(ODE)は、複素確率分布、例えば生成モデル、密度推定、ベイズ推定を近似するのに使用できる可逆輸送写像の表現表現を提供する。 大規模な輸送写像に対して、1-t)x + tT(x)$, $t \in [0,1]$ という直線補間を実現する時間依存ODE速度場が存在することを示す。 さらに、そのような速度場は、特定の最小エネルギー正規化を含む訓練対象の最小値であることを示す。 次に、対応する輸送写像の$C^k$ノルムの多項式である速度場の$C^k$ノルムに対する明示的な上界を導出する; 三角(Knothe-Rosenblatt)写像の場合、これらの境界は、関連するソースとターゲット密度の$C^k$ノルムの多項式であることを示す。これらの結果とODEによる分布近似の安定性の議論を組み合わせ、Wasserstein または Kullback-Leibler による目標分布の任意の所望の精度への近似である $\epsilon > 0$ は、そのサイズが$$C^k$ノルムの明示的に有界な速度場のディープニューラルネットワーク表現によって達成されることを示す。 同じニューラルネットワークアンザッツは、正規化されたトレーニング目標の値に対する保証を与える。

関連論文リスト

• Relative-Translation Invariant Wasserstein Distance [82.6068808353647]
  距離の新しい族、相対翻訳不変ワッサーシュタイン距離(RW_p$)を導入する。 我々は、$RW_p 距離もまた、分布変換に不変な商集合 $mathcalP_p(mathbbRn)/sim$ 上で定義される実距離測度であることを示す。
  論文  参考訳（メタデータ） (2024-09-04T03:41:44Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Normalizing flows as approximations of optimal transport maps via linear-control neural ODEs [49.1574468325115]
  我々は、絶対連続測度$mu,nuinmathcalP(mathbbRn)$間の$Wimat$-optimal transport map Tを線形制御ニューラルネットワークのフローとして回収する問題を考える。
  論文  参考訳（メタデータ） (2023-11-02T17:17:03Z)
• Distribution learning via neural differential equations: a nonparametric statistical perspective [1.4436965372953483]
  この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。 後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。 次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
  論文  参考訳（メタデータ） (2023-09-03T00:21:37Z)
• Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
  連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。 我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。 PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-11T08:50:19Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Finite speed of quantum information in models of interacting bosons at finite density [0.22843885788439797]
  我々は、ハミルトニアンが空間的に局所的な単一ボソンホッピング項を含む相互作用するボソンのモデルにおいて、量子情報が有限速度で伝播することを証明した。 我々の境界は、相互作用するボソンの実験的に実現されたモデルにおいて、物理的に現実的な初期条件に関係している。
  論文  参考訳（メタデータ） (2021-06-17T18:00:00Z)
• Large-time asymptotics in deep learning [0.0]
  トレーニングにおける最終時間の$T$(対応するResNetの深さを示す可能性がある)の影響について検討する。 古典的な$L2$-正規化経験的リスク最小化問題に対して、トレーニングエラーが$mathcalOleft(frac1Tright)$のほとんどであることを示す。 $ellp$-距離損失の設定において、トレーニングエラーと最適パラメータの両方が$mathcalOleft(e-mu)の順序のほとんどであることを示す。
  論文  参考訳（メタデータ） (2020-08-06T07:33:17Z)
• A Universal Approximation Theorem of Deep Neural Networks for Expressing Probability Distributions [12.100913944042972]
  ReLU 活性化を伴う深層ニューラルネットワーク $g:mathbbRdrightarrow mathbbR$ が存在することを示す。 ニューラルネットワークのサイズは、1ドルのワッサーシュタイン距離が相違点として使用される場合、$d$で指数関数的に成長することができる。
  論文  参考訳（メタデータ） (2020-04-19T14:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。