論文の概要: Learned Reference-based Diffusion Sampling for multi-modal distributions

• arxiv url: http://arxiv.org/abs/2410.19449v2
• Date: Tue, 25 Feb 2025 15:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:19:20.572121
• Title: Learned Reference-based Diffusion Sampling for multi-modal distributions
• Title（参考訳）: 多モード分布に対する参照型拡散サンプリングの学習
• Authors: Maxence Noble, Louis Grenioux, Marylou Gabrié, Alain Oliviero Durmus,
• Abstract要約: 本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
• 参考スコア（独自算出の注目度）: 2.1383136715042417
• License:
• Abstract: Over the past few years, several approaches utilizing score-based diffusion have been proposed to sample from probability distributions, that is without having access to exact samples and relying solely on evaluations of unnormalized densities. The resulting samplers approximate the time-reversal of a noising diffusion process, bridging the target distribution to an easy-to-sample base distribution. In practice, the performance of these methods heavily depends on key hyperparameters that require ground truth samples to be accurately tuned. Our work aims to highlight and address this fundamental issue, focusing in particular on multi-modal distributions, which pose significant challenges for existing sampling methods. Building on existing approaches, we introduce Learned Reference-based Diffusion Sampler (LRDS), a methodology specifically designed to leverage prior knowledge on the location of the target modes in order to bypass the obstacle of hyperparameter tuning. LRDS proceeds in two steps by (i) learning a reference diffusion model on samples located in high-density space regions and tailored for multimodality, and (ii) using this reference model to foster the training of a diffusion-based sampler. We experimentally demonstrate that LRDS best exploits prior knowledge on the target distribution compared to competing algorithms on a variety of challenging distributions.
• Abstract（参考訳）: 過去数年間、スコアベース拡散を利用したいくつかのアプローチが、正確なサンプルにアクセスできず、正規化されていない密度の評価のみに依存する確率分布からサンプリングするために提案されてきた。 得られたサンプルは、ノイズ発生拡散過程の時間反転を近似し、目標分布をサンプルベース分布にブリッジする。 実際には、これらの手法の性能は、基底真理サンプルを正確に調整する必要がある重要なハイパーパラメータに大きく依存している。 本研究の目的は, 既存のサンプリング手法において重要な課題となるマルチモーダル分布に着目し, この問題に焦点をあて, 対処することである。 既存の手法をベースとしたLearned Reference-based Diffusion Sampler (LRDS) は,ハイパーパラメータチューニングの障害を回避するために,目標モードの位置に関する事前知識を活用するための方法論である。 LRDSは2つのステップで進みます 一 高密度空間領域におけるマルチモーダルに適した基準拡散モデルを学ぶこと。 (II)拡散型サンプル装置の訓練を促進するために,この基準モデルを用いた。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。

関連論文リスト

• Single-Step Consistent Diffusion Samplers [8.758218443992467]
  既存のサンプリングアルゴリズムは通常、高品質なサンプルを作成するために多くの反復的なステップを必要とする。 単一ステップで高忠実度サンプルを生成するために設計された新しいサンプルクラスである,一貫した拡散サンプリングを導入している。 提案手法は,従来の拡散サンプリング装置で要求されるネットワーク評価の1%以下を用いて,高忠実度サンプルが得られることを示す。
  論文  参考訳（メタデータ） (2025-02-11T14:25:52Z)
• Enhanced Importance Sampling through Latent Space Exploration in Normalizing Flows [69.8873421870522]
  重要サンプリングはモンテカルロシミュレーションで使われる稀な事象シミュレーション手法である。 正規化フローの潜在空間における提案分布を更新し,より効率的なサンプリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T21:18:02Z)
• Arbitrary-steps Image Super-resolution via Diffusion Inversion [68.78628844966019]
  本研究では,拡散インバージョンに基づく新しい画像超解像(SR)手法を提案する。 本研究では,拡散モデルの中間状態を構築するための部分雑音予測戦略を設計する。 トレーニングが完了すると、このノイズ予測器を使用して、拡散軌道に沿ってサンプリングプロセスを部分的に初期化し、望ましい高分解能結果を生成する。
  論文  参考訳（メタデータ） (2024-12-12T07:24:13Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions [6.992239210938067]
  Annealing Flowは、高次元およびマルチモーダル分布からサンプリングするために設計された、連続正規化フローベースのアプローチである。 AFは有効かつバランスの取れたモード探索を保証し、サンプルサイズと寸法の線形複雑さを達成し、非効率な混合時間を回避している。
  論文  参考訳（メタデータ） (2024-09-30T17:48:22Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Improved sampling via learned diffusions [8.916420423563478]
  近年,制御拡散過程を用いた対象分布からの深層学習に基づくアプローチが提案されている。 我々はこれらのアプローチを一般化されたシュリンガー橋問題(英語版)の特別な場合とみなす。 時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を提案する。
  論文  参考訳（メタデータ） (2023-07-03T17:58:26Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。