論文の概要: A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.09921v1
• Date: Fri, 10 Apr 2026 21:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.748489
• Title: A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models
• Title（参考訳）: 2つの温度の物語:拡散言語モデルによる単純・効率的・多言語サンプリング
• Abstract要約: 我々は,慣れ親しんだ信頼感に基づくリメイキングの軟化,誘惑型バージョンを用いることで,多様性を向上できることを示す。 以上の結果から,dLLMsの簡便,効率的,多種多様なサンプリングが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 25.248923429171498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Much work has been done on designing fast and accurate sampling for diffusion language models (dLLMs). However, these efforts have largely focused on the tradeoff between speed and quality of individual samples; how to additionally ensure diversity across samples remains less well understood. In this work, we show that diversity can be increased by using softened, tempered versions of familiar confidence-based remasking heuristics, retaining their computational benefits and offering simple implementations. We motivate this approach by introducing an idealized formal model of fork tokens and studying the impact of remasking on the expected entropy at the forks. Empirically, the proposed tempered heuristics close the exploration gap (pass@k) between existing confidence-based and autoregressive sampling, hence outperforming both when controlling for cost (pass@NFE). We further study how the increase in diversity translates to downstream post-training and test-time compute scaling. Overall, our findings demonstrate that simple, efficient, and diverse sampling from dLLMs is possible.
• Abstract（参考訳）: 拡散言語モデル(dLLM)の高速かつ正確なサンプリングを設計する作業は数多く行われている。 しかしながら、これらの取り組みは、個々のサンプルの速度と品質のトレードオフに重点を置いている。 本研究は,信頼度に基づくリメイキングヒューリスティックの軟化バージョンを用いて,計算上のメリットを保ち,シンプルな実装を提供することにより,多様性を向上できることを示す。 我々は、フォークトークンの理想化された形式モデルを導入し、フォークにおける期待エントロピーに対するリマキングの影響を研究することによって、このアプローチを動機付けている。 実証的な結果として,提案手法は既存の信頼性ベースと自己回帰サンプリングの間の探索ギャップ(pass@k)を閉鎖し,コストを抑える場合(pass@NFE)の双方に優れることがわかった。 さらに、多様性の増加が、ダウンストリームのポストトレーニングやテストタイムの計算スケーリングにどのように影響するかについても検討する。 以上の結果から,dLLMsの簡便,効率的,多種多様なサンプリングが可能であることが示唆された。

関連論文リスト

• Free Lunch for Pass@$k$? Low Cost Diverse Sampling for Diffusion Language Models [17.37935640125399]
  本稿では,拡散言語モデルにおける生成多様性を高めるための,無償で低コストな介入手法を提案する。 提案手法は, 各サンプルが前回のサンプルの特徴空間から反発されるような, バッチ内の中間サンプルを逐次修正する。 リトレーニングやビームサーチを必要とする従来の方法とは異なり、我々の戦略は無視できる計算オーバーヘッドを発生させる。
  論文  参考訳（メタデータ） (2026-03-05T07:35:07Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• KLASS: KL-Guided Fast Inference in Masked Diffusion Models [31.082562509845985]
  マスケード拡散モデルは、言語生成を含む様々なタスクにおいて競合する結果を示してきた。 KL-Adaptive Stability Sampling' (KLASS)は,トークンレベルのKL分散を利用して,安定かつ高信頼な予測を行う高速かつ効果的なサンプリング手法である。 推論ベンチマークでは、KLASSは最大2.78タイムのウォールクロックスピードアップを実現し、標準のグリーディデコーディングよりも性能を向上した。
  論文  参考訳（メタデータ） (2025-11-07T19:05:36Z)
• Temporal Score Rescaling for Temperature Sampling in Diffusion and Flow Models [30.36841165328262]
  本稿では,フローマッチングモデルのサンプリング多様性を判断するメカニズムを提案する。 これらの再スケーリングにより、局所的なサンプリング温度を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2025-10-01T17:59:51Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。