論文の概要: Minimizing $f$-Divergences by Interpolating Velocity Fields
- arxiv url: http://arxiv.org/abs/2305.15577v2
- Date: Fri, 2 Feb 2024 13:26:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:29:45.968186
- Title: Minimizing $f$-Divergences by Interpolating Velocity Fields
- Title(参考訳): 速度場補間による$f$-divergencesの最小化
- Authors: Song Liu, Jiahao Yu, Jack Simons, Mingxuan Yi, Mark Beaumont
- Abstract要約: Wasserstein Gradient Flow は、textittarget と textit Particle の分布間の$f$-divergence を最小限に抑える経路に沿って粒子を動かすために用いられる。
- 参考スコア(独自算出の注目度): 7.400444338910891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many machine learning problems can be formulated as approximating a target
distribution using a particle distribution by minimizing a statistical
discrepancy. Wasserstein Gradient Flow can be employed to move particles along
a path that minimizes the $f$-divergence between the \textit{target} and
\textit{particle} distributions. To perform such movements we need to calculate
the corresponding velocity fields which include a density ratio function
between these two distributions. While previous works estimated the density
ratio function first and then differentiated the estimated ratio, this approach
may suffer from overfitting, which leads to a less accurate estimate. Inspired
by non-parametric curve fitting, we directly estimate these velocity fields
using interpolation. We prove that our method is asymptotically consistent
under mild conditions. We validate the effectiveness using novel applications
on domain adaptation and missing data imputation.
- Abstract(参考訳): 多くの機械学習問題は、統計的不一致を最小限に抑えて、粒子分布を用いた目標分布の近似として定式化することができる。
Wasserstein Gradient Flow は、 \textit{target} 分布と \textit{ Particle} 分布の間の$f$-divergence を最小限に抑える経路に沿って粒子を動かすために用いられる。
これら2つの分布間の密度比関数を含む対応する速度場を計算する必要がある。
従来の研究では、まず密度比関数を推定し、次に推定比を区別していたが、このアプローチは過度な適合に悩まされ、精度が低くなる。
非パラメトリックな曲線フィッティングにインスパイアされ、補間を用いてこれらの速度場を直接推定する。
本手法は軽度条件下で漸近的に一貫性があることを実証する。
ドメイン適応とデータ計算の欠如に対する新しい応用による有効性を検証する。
関連論文リスト
- Kinetic Interacting Particle Langevin Monte Carlo [0.0]
本稿では,潜在変数モデルにおける統計的推論のために,アンダーダム付きランゲヴィンアルゴリズムの相互作用について紹介し,解析する。
本稿では,パラメータと潜伏変数の空間内で共同で進化する拡散過程を提案する。
統計モデルのパラメータを推定する実用的なアルゴリズムとして,この拡散について2つの明確な考察を行う。
論文 参考訳(メタデータ) (2024-07-08T09:52:46Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Training normalizing flows with computationally intensive target
probability distributions [0.018416014644193065]
本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。
ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
論文 参考訳(メタデータ) (2023-08-25T10:40:46Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳(メタデータ) (2022-10-03T06:09:01Z) - Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。
理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。
計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
論文 参考訳(メタデータ) (2022-06-20T17:25:26Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Near-optimal estimation of smooth transport maps with kernel
sums-of-squares [81.02564078640275]
滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。
生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。
そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-03T13:45:36Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳(メタデータ) (2020-12-21T18:33:13Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳(メタデータ) (2020-02-26T16:37:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。