論文の概要: Contrastive Distribution Matching for Amortized Sequential Monte Carlo in Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2605.23346v1
• Date: Fri, 22 May 2026 08:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.25609
• Title: Contrastive Distribution Matching for Amortized Sequential Monte Carlo in Discrete Diffusion
• Title（参考訳）: 離散拡散における直列モンテカルロのコントラスト分布マッチング
• Authors: Jaihoon Kim, Taehoon Yoon, Prin Phunyaphibarn, Seungjun Kim, Morteza Mardani, Minhyuk Sung,
• Abstract要約: 本稿では,SMC推論のコストを正および負のサンプルを用いてパラメータ化されたツイスト関数を学習することにより,SMC推論のコストを補正する新しいフレームワークであるContrastive Distribution Matching (CDM)を紹介する。 実際、学習したツイスト関数の評価は、ベースモデルの1つの前方通過と比較して5%未満の計算オーバーヘッドを発生させる。 我々は,有毒なテキスト生成,DNA配列設計,タンパク質設計性,拡散言語モデルアライメントなど,多岐にわたるアプローチの有効性と汎用性を検証した。
• 参考スコア（独自算出の注目度）: 33.94204857658877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have emerged as powerful frameworks for generating structured categorical data. However, efficiently sampling from reward-tilted distributions remains a fundamental challenge. While Twisted Sequential Monte Carlo (SMC) offers asymptotic exactness for this task, estimating the optimal twist function in discrete state spaces necessitates costly Monte Carlo approximations, resulting a severe computational bottleneck at inference. To overcome this limitation, we introduce Contrastive Distribution Matching (CDM), a novel framework that amortizes the cost of SMC inference by learning a parameterized twist function via positive and negative samples. For efficient training, we reformulate the gradient estimator to leverage the closed-form forward kernels of discrete diffusion models. In practice, evaluating our learned twist function incurs less than 5% additional computational overhead compared to a single forward pass of the base model. Through extensive empirical evaluations, we demonstrate that CDM consistently outperforms existing baselines under matched wall-clock time. We validate the effectiveness and versatility of our approach across a diverse range of applications, including toxic text generation, regulatory DNA sequence design, protein designability, and diffusion large language model alignment.
• Abstract（参考訳）: 離散拡散モデルは、構造化カテゴリーデータを生成するための強力なフレームワークとして登場した。 しかし、報酬型分布からの効率的なサンプリングは依然として根本的な課題である。 Twisted Sequential Monte Carlo (SMC) はこのタスクに対して漸近的正確性を提供するが、離散状態空間における最適ツイスト関数を推定するにはコストのかかるモンテカルロ近似が必要である。 この制限を克服するために、正と負のサンプルを用いてパラメータ化されたツイスト関数を学習することにより、SMC推論のコストを抑える新しいフレームワークであるContrastive Distribution Matching (CDM)を導入する。 効率的なトレーニングのために、離散拡散モデルの閉形式前方核を利用するために勾配推定器を再構成する。 実際、学習したツイスト関数の評価は、ベースモデルの1つの前方通過と比較して5%未満の計算オーバーヘッドを発生させる。 実験により,CDMは壁面時間と一致した時間において,既存のベースラインを一貫して上回ることを示す。 我々は,有毒なテキスト生成,DNA配列設計,タンパク質設計性,拡散言語モデルアライメントなど,多岐にわたるアプローチの有効性と汎用性を検証した。

関連論文リスト

• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Inference-Time Scaling of Discrete Diffusion Models via Importance Weighting and Optimal Proposal Design [17.7006862812979]
  本稿では、離散拡散モデルのスケーラブルな推論時間制御を可能にするシークエンシャルモンテカルロフレームワークを提案する。 具体的には,様々な中間目標に対するトラクタブルな重み付けを導出し,最適提案を特徴付ける。 合成タスク,言語モデリング,生物学設計,テキスト・ツー・イメージ生成といった実験結果から,我々のフレームワークが制御性やサンプルの品質を向上させることを示す。
  論文  参考訳（メタデータ） (2025-05-28T16:12:03Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。