論文の概要: A Step in the Right Place: Understanding and Optimizing Timestep Placement in Continuous Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.15527v1
• Date: Sun, 11 Oct 2026 10:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 18:12:12.931661
• Title: A Step in the Right Place: Understanding and Optimizing Timestep Placement in Continuous Diffusion Language Models
• Title（参考訳）: 適切な場所におけるステップ:連続拡散言語モデルにおける時間的配置の理解と最適化
• Abstract要約: 生成品質を向上させるためのタイムステップ配置を探索するアルゴリズムであるStepTuneを導入する。 StepTuneは16ステップのサンプリングをフリーズモデルで実現し、XSumの要約とWMT14翻訳の両方でネイティブの64ステップのベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 5.520414745667175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous diffusion language models represent an emerging paradigm for language modeling. They generate text in parallel by iteratively refining continuous representations and mapping them back to tokens through a decoder. However, realizing the efficiency advantage of parallel generation requires maintaining generation quality with only a few denoising steps. Even when the number of steps is fixed, their placement along the denoising trajectory remains flexible. In this paper, we demonstrate that changing timestep placement alone can substantially alter the final latent representations and thereby affect the decoded token distributions. Building on these findings, we introduce StepTune, an algorithm that searches for timestep placements that improve generation quality. The search is conducted on a small calibration set and guided by a language-aware objective, with the model and sampling budget fixed. Once calibrated, the timestep placement is fixed and reused across inputs. Experiments demonstrate consistent improvements in unconditional generation perplexity and conditional task metrics across all evaluated sampling budgets. In particular, StepTune enables 16-step sampling with a frozen model to outperform its native 64-step baseline on both XSum summarization and WMT14 translation and reduces end-to-end latency by approximately $3.8\times$. These results establish timestep placement as a practical means of improving the quality-efficiency trade-off in continuous diffusion language models.
• Abstract（参考訳）: 連続拡散言語モデルは、言語モデリングの新たなパラダイムである。 連続表現を反復的に精製し、デコーダを通じてトークンにマッピングすることで、テキストを並列に生成する。 しかし、並列生成の効率性を実現するには、ほんの数ステップで生成品質を維持する必要がある。 ステップ数が固定されたとしても、デノイング軌道に沿った配置はフレキシブルである。 本稿では,時間段階の配置の変更だけで最終潜伏表現が大幅に変化し,復号化トークン分布に影響を及ぼすことを示す。 これらの結果に基づいて、生成品質を向上させるタイムステップ配置を探索するアルゴリズムであるStepTuneを導入する。 探索は小さなキャリブレーションセット上で行われ、モデルとサンプリング予算が固定された言語対応の目的によってガイドされる。 調整後、タイムステップの配置が固定され、入力間で再利用される。 実験は、無条件生成の難易度と条件付きタスクのメトリクスを、すべての評価されたサンプリング予算で一貫した改善を示す。 特に、StepTuneは16ステップのサンプリングをフリーズモデルで実現し、XSumの要約とWMT14翻訳の両方でネイティブ64ステップのベースラインを上回り、エンドツーエンドのレイテンシを約3.8\times$に短縮する。 これらの結果は、連続拡散言語モデルにおける品質効率トレードオフを改善するための実践的な方法として、タイムステップ配置を確立する。

関連論文リスト

• Few-Step Generation via Data-Space Iteration [18.371794682592654]
  フローマッチングは高品質な生成モデルをトレーニングするためのスケーラブルなパラダイムとして登場した。 一段階の世代はしばしば品質を犠牲にし、少数の世代が実用的な運用体制となる。 フローの離散化を完全に排除する数ステップ生成フレームワークであるデータ空間反復を導入する。
  論文  参考訳（メタデータ） (2026-10-08T15:03:29Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Flash-BoN: Instant Drafts for Inference-Time Scaling in Diffusion Models [91.19049123903137]
  テキストから画像への推論時間のスケーリングは、単純なBest-of-N$サンプリングからガイド付き検索方法まで進歩している。 これらのアプローチは、いつ、どの程度の頻度でデノベーションを行うかに焦点が当てられているが、生成自体のコストを固定として扱うのがほとんどである。 ウォールクロック評価では、単純なBoNが既にいくつかのガイド付き検索手法に適合または優れていたことを示す。
  論文  参考訳（メタデータ） (2026-07-05T19:02:32Z)
• LESS Is More: Mutual-Stability Sampling for Diffusion Language Models [23.94639050546374]
  拡散大言語モデル (dLLMs) は自己回帰デコードに代わる有望な代替手段を提供する。 我々は、トークンのコミットメントをオンライン停止問題として扱う、トレーニング不要でモデルに依存しない適応型サンプリングであるtextscLESSを提示する。 textscLESSは、固定予算デコードよりも72.1%のリバースステップを減らしながら、強力なトレーニングなし適応型サンプリング器よりも平均精度を向上する。
  論文  参考訳（メタデータ） (2026-06-15T16:15:45Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Just on Time: Token-Level Early Stopping for Diffusion Language Models [0.0]
  拡散言語モデルは、しばしば計算的に非効率な反復的洗練を通じてテキストを生成する。 トレーニング不要でトークンレベルの早期停止アプローチを導入し,各位置における収束を独立に識別する。 これにより、タスク固有の微調整をせずに、適応的な各トーケン凍結が得られ、必要な拡散ステップの総数を大幅に削減する。
  論文  参考訳（メタデータ） (2026-02-11T18:44:04Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Tuner [112.99126045081046]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小コストで特定の区間に対してより正確な積分方向を求めるのに役立つtextbftimestep tunerを提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。