論文の概要: Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage

• arxiv url: http://arxiv.org/abs/2505.19431v1
• Date: Mon, 26 May 2025 02:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.119366
• Title: Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage
• Title（参考訳）: モード被覆強化拡散サンプリング器における重み付きスコアマッチング
• Authors: Chenguang Wang, Xiaoyu Zhang, Kaiyuan Cui, Weichen Zhao, Yongtao Guan, Tianshu Yu,
• Abstract要約: 一般的な手法では、逆KLベースの目的を最適化することで、ターゲットデータの欠如を回避できることが多い。 そこで本研究では,KLの分岐に類似した目的を直接ターゲットとした拡散型サンプリング器の訓練手法を提案する。 我々のアプローチは、すべての分布距離のメトリクスで既存のニューラルサンプリングよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 16.94974733994214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training neural samplers directly from unnormalized densities without access to target distribution samples presents a significant challenge. A critical desideratum in these settings is achieving comprehensive mode coverage, ensuring the sampler captures the full diversity of the target distribution. However, prevailing methods often circumvent the lack of target data by optimizing reverse KL-based objectives. Such objectives inherently exhibit mode-seeking behavior, potentially leading to incomplete representation of the underlying distribution. While alternative approaches strive for better mode coverage, they typically rely on implicit mechanisms like heuristics or iterative refinement. In this work, we propose a principled approach for training diffusion-based samplers by directly targeting an objective analogous to the forward KL divergence, which is conceptually known to encourage mode coverage. We introduce \textit{Importance Weighted Score Matching}, a method that optimizes this desired mode-covering objective by re-weighting the score matching loss using tractable importance sampling estimates, thereby overcoming the absence of target distribution data. We also provide theoretical analysis of the bias and variance for our proposed Monte Carlo estimator and the practical loss function used in our method. Experiments on increasingly complex multi-modal distributions, including 2D Gaussian Mixture Models with up to 120 modes and challenging particle systems with inherent symmetries -- demonstrate that our approach consistently outperforms existing neural samplers across all distributional distance metrics, achieving state-of-the-art results on all benchmarks.
• Abstract（参考訳）: ターゲット分布サンプルにアクセスすることなく、正規化されていない密度から直接ニューラルネットワークをトレーニングすることは、大きな課題である。 これらの設定における重要なデシプラタムは、総合的なモードカバレッジを実現し、サンプルがターゲットの分布の完全な多様性をキャプチャすることを保証することである。 しかし、一般的な手法では、逆KLに基づく目的を最適化することで、ターゲットデータの欠如を回避できることが多い。 このような目的は本質的にモード探索の振る舞いを示し、基礎となる分布の不完全表現につながる可能性がある。 オルタナティブアプローチはより良いモードカバレッジを目指しているが、通常はヒューリスティックスや反復的な改善のような暗黙のメカニズムに依存している。 そこで本研究では,モデムカバレッジを促進するために概念的に知られている,前方KL発散に類似した目的をターゲットとして,拡散型サンプルのトレーニングを行うための原則的アプローチを提案する。 本稿では,抽出可能な重要度サンプリング推定値を用いてスコアマッチング損失を再重み付けし,目標分布データの欠如を克服することにより,このモード探索目的を最適化する手法である「textit{Importance Weighted Score Matching}」を紹介する。 また,提案したモンテカルロ推定器のバイアスと分散の理論的解析と,本手法における実測損失関数について述べる。 最大120モードの2D Gaussian Mixture Modelや、固有の対称性を持つパーティクルシステムなど、ますます複雑なマルチモーダル分布の実験は、我々のアプローチが既存のニューラルネットワークサンプリングを、すべての分散距離メトリクスで一貫して上回り、すべてのベンチマークで最先端の結果を達成することを実証している。

関連論文リスト

• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
  この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。 得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-12T17:51:29Z)
• End-To-End Learning of Gaussian Mixture Priors for Diffusion Sampler [15.372235873766812]
  学習可能な混合前駆体は、探索の制御を改善し、目標支援への適応性を高め、モード崩壊に対抗するために増強する。 実験結果から,様々な実環境および総合的なベンチマーク問題に対して,大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2025-03-01T14:58:14Z)
• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Achieving Efficiency in Black Box Simulation of Distribution Tails with Self-structuring Importance Samplers [1.6114012813668934]
  本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:37:22Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。