論文の概要: Debiasing Guidance for Discrete Diffusion with Sequential Monte Carlo

• arxiv url: http://arxiv.org/abs/2502.06079v1
• Date: Mon, 10 Feb 2025 00:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:30:37.892256
• Title: Debiasing Guidance for Discrete Diffusion with Sequential Monte Carlo
• Title（参考訳）: 連続モンテカルロを用いた離散拡散の劣化誘導
• Authors: Cheuk Kit Lee, Paul Jeha, Jes Frellsen, Pietro Lio, Michael Samuel Albergo, Francisco Vargas,
• Abstract要約: 本稿では,ターゲット分布から不均一に生成するSequential Monte Carloアルゴリズムを提案する。 我々は、低次元分布、制御された画像、テキスト生成に対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 10.948453531321032
• License:
• Abstract: Discrete diffusion models are a class of generative models that produce samples from an approximated data distribution within a discrete state space. Often, there is a need to target specific regions of the data distribution. Current guidance methods aim to sample from a distribution with mass proportional to $p_0(x_0) p(\zeta|x_0)^\alpha$ but fail to achieve this in practice. We introduce a Sequential Monte Carlo algorithm that generates unbiasedly from this target distribution, utilising the learnt unconditional and guided process. We validate our approach on low-dimensional distributions, controlled images and text generations. For text generation, our method provides strong control while maintaining low perplexity compared to guidance-based approaches.
• Abstract（参考訳）: 離散拡散モデルは、離散状態空間内の近似データ分布からサンプルを生成する生成モデルのクラスである。 多くの場合、データ分散の特定の領域をターゲットにする必要がある。 現在のガイダンス法は、質量比$p_0(x_0) p(\zeta|x_0)^\alpha$に比例した分布からサンプリングすることを目的としているが、実際にはこれを達成できない。 本稿では,この対象分布から不均一に生成するシークエンシャルモンテカルロアルゴリズムを提案する。 我々は、低次元分布、制御された画像、テキスト生成に対するアプローチを検証する。 テキスト生成において,本手法は,ガイダンスに基づく手法と比較して,難易度を低く保ちながら,強い制御を提供する。

関連論文リスト

• Reverse Markov Learning: Multi-Step Generative Models for Complex Distributions [10.165179181394755]
  複雑な分布を学習する能力を向上させるために、エングレスを拡張します。 本稿では,対象の分布から既知の分布へ遷移する一般的なフォワードプロセスを定義するフレームワークを提案する。 この逆工程は、目標分布を段階的に再構成する。
  論文  参考訳（メタデータ） (2025-02-19T14:10:15Z)
• Designing a Conditional Prior Distribution for Flow-Based Generative Models [16.729797131896138]
  フローベース生成モデルは、最近条件付き生成タスクに顕著な性能を示した。 本研究では、条件付きフローベースモデルの非有効性、すなわち非自明な事前分布を設計する能力を利用する。 この点を中心とするパラメトリック分布から条件的目標分布へのサンプルのマッピングには,フローマッチングの定式化を利用する。
  論文  参考訳（メタデータ） (2025-02-13T18:58:15Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Conditional sampling within generative diffusion models [12.608803080528142]
  生成拡散モデルにおける条件付きサンプリングに対する既存の計算手法について概説する。 共同分布を利用するか、あるいは明示的な可能性を持つ(事前訓練された)境界分布に依存する重要な手法を強調します。
  論文  参考訳（メタデータ） (2024-09-15T07:48:40Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• SIXO: Smoothing Inference with Twisted Objectives [8.049531918823758]
  SIXOは平滑な分布を近似する対象を学習する手法である。 次に、これらの学習対象とSMCを用いて、モデル学習と提案学習の変動目標を定義する。
  論文  参考訳（メタデータ） (2022-06-13T07:46:35Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。