論文の概要: Simple Diffusion Language Models Are More Effective Few-Step Generators Than Reported
- arxiv url: http://arxiv.org/abs/2609.33947v1
- Date: Sun, 27 Sep 2026 21:42:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 08:25:08.130902
- Title: Simple Diffusion Language Models Are More Effective Few-Step Generators Than Reported
- Title（参考訳）: 単純な拡散言語モデルは、報告されたよりも効果的な数ステップのジェネレータ
- Abstract要約: 拡散言語モデル (DLMs) は高速な並列生成を約束するが、高品質なサンプルは多くの場合、多くの改良ステップを必要とする。
少数のステップで想定される品質ギャップの多くは、代わりに、サブ最適化されたサンプルラから生じます。
- 参考スコア（独自算出の注目度）: 13.041288521972563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models (DLMs) promise fast parallel generation, yet high-quality samples often require large number of refinement steps, which diminishes their advantage in practice. This has led to massive interest in and rapid development of new methods for effective few-step generation. We show that much of the supposed quality gap at few steps can instead arise from a suboptimally configured sampler. Modest sampler sharpening, without any model retraining, enables a couple years old masked DLM to rival supposedly far improved successors. This differently sampled DLM in fact achieves lower generative perplexity in just 16 steps than what its standard sampler obtains with 1024, while improving both judged quality and semantic diversity. We further show that conventional per-output metrics can fundamentally obscure these gains, since any optimal trade-off between two such metrics can be attained by a generator supported on at most two outputs. We subsequently introduce GroupEval, which separately evaluates quality and across-output semantic diversity, and offers fresh insights including uncovering how 1.5-4.7x perplexity gains of a distilled model yield no corresponding quality gain. Finally, we explain why sharpening helps: parallel unmasking destroys dependencies among simultaneously generated tokens, creating a gap between prediction and generation. We prove that pervasive temperature choice of one is generically suboptimal under parallel sampling even for an exact denoiser, and that worse predictions can yield better samples. Through these results, we argue for a broader evaluation principle of treating the deployed generator as the object of comparison, benchmarking it against tuned baselines, and assessing quality and diversity jointly and with more human-aligned measures.
- Abstract（参考訳）: 拡散言語モデル (DLMs) は高速な並列生成を約束するが、高品質なサンプルは多くの場合、多くの改良ステップを必要とするため、実際にはその優位性を低下させる。
これにより、効率的な数ステップ生成のための新しい手法の開発や開発に大きな関心が寄せられた。
少数のステップで想定される品質ギャップの多くは、代わりに、サブ最適化されたサンプルラから生じます。
モデスト・サンプル・シャープニングは、モデルの再訓練なしに、数年前にマスクされたDLMが、はるかに改良された後継機と競合することを可能にする。
この異なるサンプルDLMは、判定された品質と意味の多様性の両方を改善しながら、標準サンプルが1024で得られるものよりもわずか16ステップで低い生成パープレキシティを実現する。
さらに、このような2つの指標間の最適なトレードオフは、少なくとも2つの出力でサポートされているジェネレータによって達成できるので、従来の出力単位のメトリクスがこれらの利得を根本的に曖昧にすることができることを示す。
続いて, ある蒸留モデルの1.5-4.7倍のパープレキシティがどのような品質向上をもたらすかを明らかにするなど, 新たな知見を提供するグループEvalを紹介した。
並列アンマキングは同時に生成されたトークン間の依存関係を破壊し、予測と生成の間にギャップを生じさせる。
正確なデノイザであっても, 並列サンプリングにおいて, 広範に温度選択が最適であることを示すとともに, より悪い予測により, より優れたサンプルが得られることを示す。
これらの結果から,デプロイされたジェネレータを比較対象として扱い,調整されたベースラインに対してベンチマークを行い,品質と多様性を協調的に評価し,より人道的な評価を行うという,より広範な評価原則を論じる。
関連論文リスト
- Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。
両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。
我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
論文 参考訳（メタデータ） (2026-06-07T02:35:56Z) - A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models [25.248923429171498]
我々は,慣れ親しんだ信頼感に基づくリメイキングの軟化,誘惑型バージョンを用いることで,多様性を向上できることを示す。
以上の結果から,dLLMsの簡便,効率的,多種多様なサンプリングが可能であることが示唆された。
論文 参考訳（メタデータ） (2026-04-10T21:36:01Z) - Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。
我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
論文 参考訳（メタデータ） (2026-04-01T02:01:30Z) - Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。
提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。
粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文 参考訳（メタデータ） (2026-02-02T09:21:45Z) - Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing [4.707859580472452]
仮面拡散モデル(MDM)は、離散テキスト生成のための自己回帰モデル(ARM)に代わる魅力的な代替手段を提供する。
シーケンシャルな左から右への生成ではなく、並列トークンサンプリングを可能にする。
本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。
論文 参考訳（メタデータ） (2025-10-24T18:41:26Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Diffusion Sampling Path Tells More: An Efficient Plug-and-Play Strategy for Sample Filtering [18.543769006014383]
拡散モデルはしばしば、サンプリング軌跡に固有の変化のために、一貫性のないサンプル品質を示す。
CFG-リジェクション(CFG-Rejection)は,デノナイジングプロセスの初期段階において,低品質なサンプルをフィルタリングする効率的なプラグアンドプレイ戦略である。
画像生成におけるCFG-Rejectionの有効性を広範囲な実験により検証する。
論文 参考訳（メタデータ） (2025-05-29T11:08:24Z) - Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。
高品質な出力を生成するには、多くの離散化ステップが必要です。
クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文 参考訳（メタデータ） (2025-02-04T16:59:03Z) - Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。
微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
論文 参考訳（メタデータ） (2024-12-11T11:08:09Z) - Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。
提案手法は,事前学習した拡散モデルに容易に適用できる。
初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
論文 参考訳（メタデータ） (2023-08-23T06:22:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。