論文の概要: A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.09921v1
• Date: Fri, 10 Apr 2026 21:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.748489
• Title: A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models
• Title（参考訳）: 2つの温度の物語:拡散言語モデルによる単純・効率的・多言語サンプリング
• Authors: Theo X. Olausson, Metod Jazbec, Xi Wang, Armando Solar-Lezama, Christian A. Naesseth, Stephan Mandt, Eric Nalisnick,
• Abstract要約: 我々は,慣れ親しんだ信頼感に基づくリメイキングの軟化,誘惑型バージョンを用いることで,多様性を向上できることを示す。 以上の結果から,dLLMsの簡便,効率的,多種多様なサンプリングが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 25.248923429171498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Much work has been done on designing fast and accurate sampling for diffusion language models (dLLMs). However, these efforts have largely focused on the tradeoff between speed and quality of individual samples; how to additionally ensure diversity across samples remains less well understood. In this work, we show that diversity can be increased by using softened, tempered versions of familiar confidence-based remasking heuristics, retaining their computational benefits and offering simple implementations. We motivate this approach by introducing an idealized formal model of fork tokens and studying the impact of remasking on the expected entropy at the forks. Empirically, the proposed tempered heuristics close the exploration gap (pass@k) between existing confidence-based and autoregressive sampling, hence outperforming both when controlling for cost (pass@NFE). We further study how the increase in diversity translates to downstream post-training and test-time compute scaling. Overall, our findings demonstrate that simple, efficient, and diverse sampling from dLLMs is possible.
• Abstract（参考訳）: 拡散言語モデル(dLLM)の高速かつ正確なサンプリングを設計する作業は数多く行われている。 しかしながら、これらの取り組みは、個々のサンプルの速度と品質のトレードオフに重点を置いている。 本研究は,信頼度に基づくリメイキングヒューリスティックの軟化バージョンを用いて,計算上のメリットを保ち,シンプルな実装を提供することにより,多様性を向上できることを示す。 我々は、フォークトークンの理想化された形式モデルを導入し、フォークにおける期待エントロピーに対するリマキングの影響を研究することによって、このアプローチを動機付けている。 実証的な結果として,提案手法は既存の信頼性ベースと自己回帰サンプリングの間の探索ギャップ(pass@k)を閉鎖し,コストを抑える場合(pass@NFE)の双方に優れることがわかった。 さらに、多様性の増加が、ダウンストリームのポストトレーニングやテストタイムの計算スケーリングにどのように影響するかについても検討する。 以上の結果から,dLLMsの簡便,効率的,多種多様なサンプリングが可能であることが示唆された。

関連論文リスト

• KLASS: KL-Guided Fast Inference in Masked Diffusion Models [31.082562509845985]
  マスケード拡散モデルは、言語生成を含む様々なタスクにおいて競合する結果を示してきた。 KL-Adaptive Stability Sampling' (KLASS)は,トークンレベルのKL分散を利用して,安定かつ高信頼な予測を行う高速かつ効果的なサンプリング手法である。 推論ベンチマークでは、KLASSは最大2.78タイムのウォールクロックスピードアップを実現し、標準のグリーディデコーディングよりも性能を向上した。
  論文  参考訳（メタデータ） (2025-11-07T19:05:36Z)
• Temporal Score Rescaling for Temperature Sampling in Diffusion and Flow Models [30.36841165328262]
  本稿では,フローマッチングモデルのサンプリング多様性を判断するメカニズムを提案する。 これらの再スケーリングにより、局所的なサンプリング温度を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2025-10-01T17:59:51Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。