論文の概要: Minimizing $f$-Divergences by Interpolating Velocity Fields
- arxiv url: http://arxiv.org/abs/2305.15577v2
- Date: Fri, 2 Feb 2024 13:26:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:29:45.968186
- Title: Minimizing $f$-Divergences by Interpolating Velocity Fields
- Title(参考訳): 速度場補間による$f$-divergencesの最小化
- Authors: Song Liu, Jiahao Yu, Jack Simons, Mingxuan Yi, Mark Beaumont
- Abstract要約: Wasserstein Gradient Flow は、textittarget と textit Particle の分布間の$f$-divergence を最小限に抑える経路に沿って粒子を動かすために用いられる。
- 参考スコア(独自算出の注目度): 7.400444338910891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many machine learning problems can be formulated as approximating a target
distribution using a particle distribution by minimizing a statistical
discrepancy. Wasserstein Gradient Flow can be employed to move particles along
a path that minimizes the $f$-divergence between the \textit{target} and
\textit{particle} distributions. To perform such movements we need to calculate
the corresponding velocity fields which include a density ratio function
between these two distributions. While previous works estimated the density
ratio function first and then differentiated the estimated ratio, this approach
may suffer from overfitting, which leads to a less accurate estimate. Inspired
by non-parametric curve fitting, we directly estimate these velocity fields
using interpolation. We prove that our method is asymptotically consistent
under mild conditions. We validate the effectiveness using novel applications
on domain adaptation and missing data imputation.
- Abstract(参考訳): 多くの機械学習問題は、統計的不一致を最小限に抑えて、粒子分布を用いた目標分布の近似として定式化することができる。
Wasserstein Gradient Flow は、 \textit{target} 分布と \textit{ Particle} 分布の間の$f$-divergence を最小限に抑える経路に沿って粒子を動かすために用いられる。
これら2つの分布間の密度比関数を含む対応する速度場を計算する必要がある。
従来の研究では、まず密度比関数を推定し、次に推定比を区別していたが、このアプローチは過度な適合に悩まされ、精度が低くなる。
非パラメトリックな曲線フィッティングにインスパイアされ、補間を用いてこれらの速度場を直接推定する。
本手法は軽度条件下で漸近的に一貫性があることを実証する。
ドメイン適応とデータ計算の欠如に対する新しい応用による有効性を検証する。
関連論文リスト
- Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Training normalizing flows with computationally intensive target
probability distributions [0.018416014644193065]
本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。
ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
論文 参考訳(メタデータ) (2023-08-25T10:40:46Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-10-24T16:54:18Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳(メタデータ) (2022-10-03T06:09:01Z) - Building Normalizing Flows with Stochastic Interpolants [11.22149158986164]
一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。
この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
論文 参考訳(メタデータ) (2022-09-30T16:30:31Z) - Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。
理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。
計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
論文 参考訳(メタデータ) (2022-06-20T17:25:26Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for
Distributional Optimization [95.67541186704399]
分散最適化問題は機械学習や統計学で広く発生する。
本研究では,ワッサースタイン勾配降下を概ね行う,変分輸送と呼ばれる新しい粒子ベースアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳(メタデータ) (2020-12-21T18:33:13Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳(メタデータ) (2020-02-26T16:37:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。