論文の概要: Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage

• arxiv url: http://arxiv.org/abs/2505.19431v1
• Date: Mon, 26 May 2025 02:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.119366
• Title: Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage
• Title（参考訳）: モード被覆強化拡散サンプリング器における重み付きスコアマッチング
• Authors: Chenguang Wang, Xiaoyu Zhang, Kaiyuan Cui, Weichen Zhao, Yongtao Guan, Tianshu Yu,
• Abstract要約: 一般的な手法では、逆KLベースの目的を最適化することで、ターゲットデータの欠如を回避できることが多い。 そこで本研究では,KLの分岐に類似した目的を直接ターゲットとした拡散型サンプリング器の訓練手法を提案する。 我々のアプローチは、すべての分布距離のメトリクスで既存のニューラルサンプリングよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 16.94974733994214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training neural samplers directly from unnormalized densities without access to target distribution samples presents a significant challenge. A critical desideratum in these settings is achieving comprehensive mode coverage, ensuring the sampler captures the full diversity of the target distribution. However, prevailing methods often circumvent the lack of target data by optimizing reverse KL-based objectives. Such objectives inherently exhibit mode-seeking behavior, potentially leading to incomplete representation of the underlying distribution. While alternative approaches strive for better mode coverage, they typically rely on implicit mechanisms like heuristics or iterative refinement. In this work, we propose a principled approach for training diffusion-based samplers by directly targeting an objective analogous to the forward KL divergence, which is conceptually known to encourage mode coverage. We introduce \textit{Importance Weighted Score Matching}, a method that optimizes this desired mode-covering objective by re-weighting the score matching loss using tractable importance sampling estimates, thereby overcoming the absence of target distribution data. We also provide theoretical analysis of the bias and variance for our proposed Monte Carlo estimator and the practical loss function used in our method. Experiments on increasingly complex multi-modal distributions, including 2D Gaussian Mixture Models with up to 120 modes and challenging particle systems with inherent symmetries -- demonstrate that our approach consistently outperforms existing neural samplers across all distributional distance metrics, achieving state-of-the-art results on all benchmarks.
• Abstract（参考訳）: ターゲット分布サンプルにアクセスすることなく、正規化されていない密度から直接ニューラルネットワークをトレーニングすることは、大きな課題である。 これらの設定における重要なデシプラタムは、総合的なモードカバレッジを実現し、サンプルがターゲットの分布の完全な多様性をキャプチャすることを保証することである。 しかし、一般的な手法では、逆KLに基づく目的を最適化することで、ターゲットデータの欠如を回避できることが多い。 このような目的は本質的にモード探索の振る舞いを示し、基礎となる分布の不完全表現につながる可能性がある。 オルタナティブアプローチはより良いモードカバレッジを目指しているが、通常はヒューリスティックスや反復的な改善のような暗黙のメカニズムに依存している。 そこで本研究では,モデムカバレッジを促進するために概念的に知られている,前方KL発散に類似した目的をターゲットとして,拡散型サンプルのトレーニングを行うための原則的アプローチを提案する。 本稿では,抽出可能な重要度サンプリング推定値を用いてスコアマッチング損失を再重み付けし,目標分布データの欠如を克服することにより,このモード探索目的を最適化する手法である「textit{Importance Weighted Score Matching}」を紹介する。 また,提案したモンテカルロ推定器のバイアスと分散の理論的解析と,本手法における実測損失関数について述べる。 最大120モードの2D Gaussian Mixture Modelや、固有の対称性を持つパーティクルシステムなど、ますます複雑なマルチモーダル分布の実験は、我々のアプローチが既存のニューラルネットワークサンプリングを、すべての分散距離メトリクスで一貫して上回り、すべてのベンチマークで最先端の結果を達成することを実証している。

関連論文リスト

• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。