論文の概要: Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference

• arxiv url: http://arxiv.org/abs/2606.02955v1
• Date: Mon, 01 Jun 2026 23:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.637327
• Title: Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference
• Title（参考訳）: Fast-dLLM++: 高速拡散LDM推論のためのフレシェプロファイルデコーディング
• Authors: Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li,
• Abstract要約: textbfFast-dLLM++は、emphFréchetプロファイルのデコードを導入し、トレーニング不要な拡張である。 Fast-dLLM++はモデル、拡散プロセス、キャッシュの実装を完全に変更していない。 LLaDA-8Bモデルを用いたGSM8K, MATH, HumanEval, MBPP実験により, 理論的改善が直接経験的利得に変換されることが示された。
• 参考スコア（独自算出の注目度）: 45.385819280687514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models promise parallel token generation, yet inference remains bottlenecked by deciding which masked tokens can be safely committed together. Fast-dLLM addressed this with KV caching and confidence-guided parallel decoding, but its decoding theory uses a homogeneous high-confidence assumption that effectively reduces each candidate set to its weakest selected token. We argue that this leaves speed on the table because real decoding steps exhibit heterogeneous confidence profiles. We propose \textbf{Fast-dLLM++}, a training-free extension that introduces \emph{Fréchet profile decoding}: selecting parallel commit sets from the full sorted confidence profile rather than a single worst-case confidence. The resulting rule is a heterogeneous-confidence generalization of Fast-dLLM's factor selector and it recovers the previous rule exactly in the equal-confidence case and adds a provable \emph{heterogeneity bonus} when the selected tokens have uneven confidences. Fast-dLLM++ leaves the model, diffusion process, and cache implementation entirely unchanged, making it a drop-in replacement for existing Fast-dLLM decoding. Experiments on GSM8K, MATH, HumanEval, and MBPP with the LLaDA-8B model show that the theoretical improvement translates directly into empirical gains: profile-aware selection improves the accuracy--throughput frontier by exploiting safe parallelism that weakest-token rules miss, achieving up to 37\% higher throughput at comparable accuracy. Our anonymous code release is at https://github.com/Ringo-Star/FastdLLM_plusplus.
• Abstract（参考訳）: 拡散型大規模言語モデルは並列トークン生成を約束するが、どのマスキングトークンが安全にコミットできるかを判断することで推論はボトルネックとなる。 Fast-dLLMは、KVキャッシングと信頼誘導並列復号法でこの問題に対処するが、その復号理論は、最も弱い選択トークンに設定された各候補を効果的に還元する均一な高信頼仮説を用いる。 これは、実際のデコードステップが不均一な信頼プロファイルを示すためである、と我々は主張する。 我々は、トレーニング不要な拡張である \textbf{Fast-dLLM++} を提案する。これは、単一の最悪の信頼度ではなく、完全なソートされた信頼プロファイルから並列コミットセットを選択する。 結果として得られる規則は、Fast-dLLM の係数セレクタの不均一な自信の一般化であり、選択されたトークンが不均一な信頼を持つときに証明可能な \emph{heterogeneity bonus} を追加する。 Fast-dLLM++はモデル、拡散プロセス、キャッシュの実装を完全に変更せず、既存のFast-dLLMデコーディングの代替となる。 GSM8K、MATH、HumanEval、MBPPをLLaDA-8Bモデルで実験したところ、理論的改善は直接経験的なゲインに変換されることがわかった。 匿名のコードリリースはhttps://github.com/Ringo-Star/FastdLLM_plusplusです。

関連論文リスト

• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Fail Fast, Win Big: Rethinking the Drafting Strategy in Speculative Decoding via Diffusion LLMs [8.881949061263784]
  並列デコードから dLLM の速度は,コストのかかる拒絶のリスクを大幅に低下させることを示す。 本稿では,dLLMに基づく投機的復号化フレームワークFailFastを提案する。
  論文  参考訳（メタデータ） (2025-12-23T18:16:58Z)
• From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models [19.97248408121574]
  Diffusion Language Models (DLMs) は並列デコードにより高速な推論速度で同等の精度を提供する。 高信頼トークンは無視可能な情報を持ち、それらに厳密に依存することで、各デコードラウンドにおける効果的な進捗を制限する。 本研究では,情報スループットと復号効率を最大化する学習自由復号法であるExplore-Then-Exploit (ETE)を提案する。
  論文  参考訳（メタデータ） (2025-11-26T06:38:37Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
  Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。 ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。 Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
  論文  参考訳（メタデータ） (2025-09-18T17:48:21Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。