論文の概要: Inference-Time Scaling of Discrete Diffusion Models via Importance Weighting and Optimal Proposal Design

• arxiv url: http://arxiv.org/abs/2505.22524v3
• Date: Wed, 08 Oct 2025 10:49:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:18.025626
• Title: Inference-Time Scaling of Discrete Diffusion Models via Importance Weighting and Optimal Proposal Design
• Title（参考訳）: 重要度重み付けによる離散拡散モデルの推論時間スケーリングと最適提案設計
• Authors: Zijing Ou, Chinmay Pani, Yingzhen Li,
• Abstract要約: 本稿では、離散拡散モデルのスケーラブルな推論時間制御を可能にするシークエンシャルモンテカルロフレームワークを提案する。 具体的には,様々な中間目標に対するトラクタブルな重み付けを導出し,最適提案を特徴付ける。 合成タスク,言語モデリング,生物学設計,テキスト・ツー・イメージ生成といった実験結果から,我々のフレームワークが制御性やサンプルの品質を向上させることを示す。
• 参考スコア（独自算出の注目度）: 17.7006862812979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models have become highly effective across various domains. However, real-world applications often require the generative process to adhere to certain constraints. To this end, we propose a Sequential Monte Carlo (SMC) framework that enables scalable inference-time control of discrete diffusion models through principled importance weighting and optimal proposal construction. Specifically, our approach derives tractable importance weights for a range of intermediate targets and characterises the optimal proposal, for which we develop two practical approximations: a first-order gradient-based approximation and an amortised proposal trained to minimise the log-variance of the importance weights. Empirical results across synthetic tasks, language modelling, biology design, and text-to-image generation demonstrate that our framework enhances controllability and sample quality, highlighting the effectiveness of SMC as a versatile recipe for scaling discrete diffusion models at inference time.
• Abstract（参考訳）: 離散拡散モデルは様々な領域において非常に効果的である。 しかし、現実の応用は、特定の制約に従うために生成過程を必要とすることが多い。 そこで本研究では, 離散拡散モデルの拡張的推論時間制御を, 原理的重み付けと最適提案構成により実現する, 逐次モンテカルロ(SMC)フレームワークを提案する。 具体的には,複数の中間目標に対してトラクタブルな重みを導出し,その重みの対数分散を最小化するために訓練された1次勾配に基づく近似と補正された提案という,2つの実用的な近似を開発するための最適提案を特徴付ける。 合成タスク,言語モデリング,生物学設計,テキスト・ツー・イメージ・ジェネレーションにおける実験結果から,本フレームワークは制御性やサンプル品質を高め,SMCを推論時に離散拡散モデルをスケールするための汎用的なレシピとしての有効性を強調した。

関連論文リスト

• Numerical Generalized Randomized Hamiltonian Monte Carlo for piecewise smooth target densities [0.0]
  不連続勾配と片方向の滑らかな目標を持つ連続密度をサンプリングする一般化ハミルトン・モンテカルロ法を提案する。 この手法は,両シナリオの不変分布として所望の目標分布を許容するGRHMCプロセスに導かれると論じられている。
  論文  参考訳（メタデータ） (2025-04-25T09:41:57Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics [7.873510219469276]
  離散拡散サンプリングのための2つの新しいトレーニング手法を提案する。 これらの手法は、メモリ効率のトレーニングを行い、教師なし最適化の最先端結果を達成する。 SN-NISとニューラルチェインモンテカルロの適応を導入し,離散拡散モデルの適用を初めて可能とした。
  論文  参考訳（メタデータ） (2025-02-12T18:59:55Z)
• Test-time Alignment of Diffusion Models without Reward Over-optimization [8.981605934618349]
  拡散モデルは生成的タスクにおいて優れているが、特定の目的とそれらを整合させることは依然として困難である。 そこで本研究では,SMC(Sequential Monte Carlo)をベースとした学習自由なテスト時間手法を提案する。 単一逆最適化、多目的シナリオ、オンラインブラックボックス最適化において、その効果を実証する。
  論文  参考訳（メタデータ） (2025-01-10T09:10:30Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
  提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。 提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。 実験の結果,提案手法は平均的美学のテキスト・ツー・イメージ生成を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2024-10-08T07:33:49Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。