論文の概要: (De)-regularized Maximum Mean Discrepancy Gradient Flow

• arxiv url: http://arxiv.org/abs/2409.14980v1
• Date: Mon, 23 Sep 2024 12:57:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 15:05:21.992313
• Title: (De)-regularized Maximum Mean Discrepancy Gradient Flow
• Title（参考訳）: (De)正則化最大値離散性勾配流
• Authors: Zonghao Chen, Aratrika Mustafi, Pierre Glaser, Anna Korba, Arthur Gretton, Bharath K. Sriperumbudur,
• Abstract要約: 本稿では,最大平均離散(DrMMD)とワッサーシュタイン勾配流の正則化を導入する。 DrMMDフローは、連続時間と離散時間の両方において、広範囲の目標に対して、同時にニア・グロバル収束を保証することができる。 我々の数値スキームは、フロー全体を通して適応的な非正規化スケジュールを使用して、離散化誤差と$chi2$の規則からの逸脱を最適にトレードオフする。
• 参考スコア（独自算出の注目度）: 27.70783952195201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a (de)-regularization of the Maximum Mean Discrepancy (DrMMD) and its Wasserstein gradient flow. Existing gradient flows that transport samples from source distribution to target distribution with only target samples, either lack tractable numerical implementation ($f$-divergence flows) or require strong assumptions, and modifications such as noise injection, to ensure convergence (Maximum Mean Discrepancy flows). In contrast, DrMMD flow can simultaneously (i) guarantee near-global convergence for a broad class of targets in both continuous and discrete time, and (ii) be implemented in closed form using only samples. The former is achieved by leveraging the connection between the DrMMD and the $\chi^2$-divergence, while the latter comes by treating DrMMD as MMD with a de-regularized kernel. Our numerical scheme uses an adaptive de-regularization schedule throughout the flow to optimally trade off between discretization errors and deviations from the $\chi^2$ regime. The potential application of the DrMMD flow is demonstrated across several numerical experiments, including a large-scale setting of training student/teacher networks.
• Abstract（参考訳）: 本稿では,最大平均離散(DrMMD)とワッサーシュタイン勾配流の正則化を導入する。 既存の勾配流は、サンプルをソース分布からターゲット分布にのみ輸送し、抽出可能な数値的な実装(f$-divergence flow)を欠いているか、あるいは強い仮定を必要とするか、収束を確保するためにノイズ注入のような修正を必要とする(最大平均離散フロー)。 対照的に、DrMMDフローは同時に可能である (i)連続時間と離散時間の両方において、広範囲の目標に対して、ニア・グロバル収束を保証すること、 (ii)サンプルのみを用いて閉じた形で実施する。 前者はDrMMDと$\chi^2$-divergenceの接続を利用し、後者はDrMMDを非正規化されたカーネルでMDDとして扱う。 我々の数値スキームは、フロー全体を通して適応的な非正規化スケジュールを用いて、離散化誤差と$\chi^2$規則からの偏差を最適にトレードオフする。 DrMMDフローの潜在的な応用は、学生・教師ネットワークの大規模設定など、いくつかの数値実験で実証されている。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Importance Corrected Neural JKO Sampling [0.0]
  重み付けに基づいて, 連続正規化フロー (CNFs) とリジェクション・サンプリングのステップを結合する。 発生モデルを反復的にトレーニングし、各ステップにおける逆KL損失関数を低減し、iidサンプルを生成することができる。 数値的な例から,本手法は高次元マルチモーダルターゲットを含む様々な試験分布に対して精度の高い結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-29T22:49:59Z)
• Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows [10.153270126742369]
  正規化定数を含む確率分布の効率的な近似サンプリングについて検討した。 具体的には,科学技術応用における大規模逆問題に対するベイズ推定における問題クラスに着目する。
  論文  参考訳（メタデータ） (2024-06-25T04:07:22Z)
• Deep MMD Gradient Flow without adversarial training [69.76417786943217]
  本稿では,初期音源分布からターゲット分布への粒子輸送による生成モデルのための勾配流法を提案する。 最大平均離散度(MMD)の雑音適応型ワッサースタイン勾配は、ノイズのレベルの増加によって劣化するデータ分布について訓練する。 我々は,MDDがKL分岐の下位境界に置き換わる場合のアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-10T19:10:45Z)
• Deep conditional distribution learning via conditional Föllmer flow [3.227277661633986]
  本研究では,条件F"ollmer Flow"という条件分布を学習するための常微分方程式(ODE)に基づく深部生成手法を提案する。 効率的な実装のために、我々は、深層ニューラルネットワークを用いて非パラメトリックに速度場を推定するオイラー法を用いて流れを判別する。
  論文  参考訳（メタデータ） (2024-02-02T14:52:10Z)
• Mixed Variational Flows for Discrete Variables [14.00384446902181]
  連続的な埋め込みを伴わない離散分布のための変動流ファミリを開発した。 まず、測度保存および離散可逆写像(MAD)を開発し、離散的対象不変性を残した。 また、連立離散モデルおよび連続モデルを扱うMAD Mixの拡張も開発した。
  論文  参考訳（メタデータ） (2023-08-29T20:13:37Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。