論文の概要: KLASS: KL-Guided Fast Inference in Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2511.05664v1
• Date: Fri, 07 Nov 2025 19:05:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.523964
• Title: KLASS: KL-Guided Fast Inference in Masked Diffusion Models
• Title（参考訳）: KLASS:マスク付き拡散モデルにおけるKL誘導高速推論
• Authors: Seo Hyun Kim, Sunwoo Hong, Hojung Jung, Youngrok Park, Se-Young Yun,
• Abstract要約: マスケード拡散モデルは、言語生成を含む様々なタスクにおいて競合する結果を示してきた。 KL-Adaptive Stability Sampling' (KLASS)は,トークンレベルのKL分散を利用して,安定かつ高信頼な予測を行う高速かつ効果的なサンプリング手法である。 推論ベンチマークでは、KLASSは最大2.78タイムのウォールクロックスピードアップを実現し、標準のグリーディデコーディングよりも性能を向上した。
• 参考スコア（独自算出の注目度）: 31.082562509845985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models have demonstrated competitive results on various tasks including language generation. However, due to its iterative refinement process, the inference is often bottlenecked by slow and static sampling speed. To overcome this problem, we introduce `KL-Adaptive Stability Sampling' (KLASS), a fast yet effective sampling method that exploits token-level KL divergence to identify stable, high-confidence predictions. By unmasking multiple tokens in each iteration without any additional model training, our approach speeds up generation significantly while maintaining sample quality. On reasoning benchmarks, KLASS achieves up to $2.78\times$ wall-clock speedups while improving performance over standard greedy decoding, attaining state-of-the-art results among diffusion-based samplers. We further validate KLASS across diverse domains, including text, image, and molecular generation, showing its effectiveness as a broadly applicable sampler across different models.
• Abstract（参考訳）: マスケード拡散モデルは、言語生成を含む様々なタスクにおいて競合する結果を示してきた。 しかし、反復的な精錬プロセスのため、推論は遅くて静的なサンプリング速度によってボトルネックとなることが多い。 この問題を解決するために,トークンレベルのKL分散を利用した高速かつ効果的なサンプリング手法であるKLASS(KL-Adaptive Stability Sampling)を導入する。 追加のモデルトレーニングなしで各イテレーションで複数のトークンを解き放つことで、我々のアプローチはサンプルの品質を維持しながら、生成を著しくスピードアップします。 推論ベンチマークでは、KLASSは最大2.78\times$wall-clockのスピードアップを達成し、標準のグリーディデコーディングよりも性能を改善し、拡散ベースのサンプルラーの最先端結果を得る。 さらに、テキスト、画像、分子生成を含む多様な領域にわたるKLASSの有効性を検証し、異なるモデルにまたがる広く適用可能なサンプルとしての有効性を示す。

関連論文リスト

• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Diffusion Sampling Path Tells More: An Efficient Plug-and-Play Strategy for Sample Filtering [18.543769006014383]
  拡散モデルはしばしば、サンプリング軌跡に固有の変化のために、一貫性のないサンプル品質を示す。 CFG-リジェクション(CFG-Rejection)は,デノナイジングプロセスの初期段階において,低品質なサンプルをフィルタリングする効率的なプラグアンドプレイ戦略である。 画像生成におけるCFG-Rejectionの有効性を広範囲な実験により検証する。
  論文  参考訳（メタデータ） (2025-05-29T11:08:24Z)
• Quantizing Diffusion Models from a Sampling-Aware Perspective [43.95032520555463]
  本稿では,混合次軌道アライメント手法を考案したサンプリング対応量子化手法を提案する。 複数のデータセットにまたがるスパースステップ高速サンプリング実験により,本手法は高速サンプリング器の高速収束特性を保っていることが示された。
  論文  参考訳（メタデータ） (2025-05-04T20:50:44Z)
• COSEE: Consistency-Oriented Signal-Based Early Exiting via Calibrated Sample Weighting Mechanism [32.015402521706825]
  早期終了は事前学習言語モデル(PLM)の推論効率を改善する効果的なパラダイムである 本稿では,COSEE(Consistency-Oriented Signal-based Early Exiting)フレームワークを提案する。 GLUEベンチマークの実験では、複数の出口信号とバックボーンにまたがるCOSEEの有効性が実証され、パフォーマンスと効率のトレードオフが向上した。
  論文  参考訳（メタデータ） (2024-12-17T16:24:55Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning [52.72369034247396]
  モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。 DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
  論文  参考訳（メタデータ） (2022-12-20T13:36:25Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。