論文の概要: Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models
- arxiv url: http://arxiv.org/abs/2608.11742v1
- Date: Wed, 12 Aug 2026 07:32:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.489964
- Title: Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models
- Title（参考訳）: Ripple-Pivot Search: 拡散大言語モデルのためのアクティブ並列デコーディング
- Abstract要約: Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。
本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。
RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
- 参考スコア（独自算出の注目度）: 66.32132912853372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Large Language Models (dLLMs) have emerged as a competitive alternative to autoregressive language models, offering the potential for substantially faster inference through parallel decoding. Existing parallel decoding schedulers typically commit positions only after they meet a per-position criterion, overlooking how early commitments may benefit subsequent decoding. We identify a ripple effect in dLLM decoding: proactively committing a mid-entropy pivot position can induce a pronounced reduction in uncertainty across the remaining masked positions. This uncertainty reduction allows subsequent steps to unmask more tokens in parallel, thereby accelerating the overall decoding process. To exploit the ripple effect, we propose Ripple-Pivot Search (RPS), a novel training-free decoding method that seeks mid-entropy positions as promising candidate pivots (where to decode), and determines their token assignment that yields the greatest downstream benefit via lookahead evaluation (what to decode). Across 3 dLLMs and 4 reasoning and code-generation benchmarks, RPS achieves 4-10$\times$ wall-clock speedup over the standard decoder while preserving generation quality, and improves accuracy over the previous lookahead baseline by up to 5.49% while delivering higher throughput in most settings. When integrated with KV caching, RPS further achieves up to 18$\times$ wall-clock speedup over the standard decoder.
- Abstract（参考訳）: Diffusion Large Language Models (dLLMs) は自動回帰言語モデルの競合として登場し、並列デコーディングによる推論が大幅に高速化される可能性がある。
既存の並列デコードスケジューラは、通常、配置毎の基準を満たした後にのみポジションをコミットし、初期のコミットメントがその後のデコードにどのような恩恵をもたらすかを見越す。
我々は,dLLMデコードにおけるリップル効果を同定し,中間エントロピーのピボット位置を積極的にコミットすることで,残りのマスキング位置における不確実性を顕著に低減することができることを示した。
この不確実性低減により、その後のステップでより多くのトークンを並列に解き放つことができ、それによって全体的な復号プロセスが加速される。
リップル効果を利用するために,提案手法は,中間エントロピー位置を有望な候補ピボット(復号化場所)として求める新たな訓練自由復号法であるRipple-Pivot Search(RPS)を提案し,そのトークン割り当てをルックアヘッド評価(復号化方法)により最大ダウンストリーム利益をもたらす。
3dLLMと4つの推論とコード生成ベンチマークで、RCSは生成品質を維持しながら標準デコーダよりも4-10$\times$ウォールクロックのスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上し、ほとんどの設定で高いスループットを提供する。
KVキャッシュと統合されると、RSSはさらに標準デコーダよりも18$\times$wall-clockのスピードアップを達成する。
関連論文リスト
- Early-Bird Decoding: Accelerating Diffusion LLMs with Learnable Block Sizes and Parallel Sampling [11.823547220829083]
拡散大言語モデル(dLLM)は、自己回帰生成の代替として有望な並列デコードパラダイムを提供する。
同様に低いエントロピーを持つトークンがクラスタ化される傾向にあるという観察から動機付けられた「アーリーバード(EB)」デコーディングフレームワークを提案する。
EB-Decodeは,(1)類似の不確実性のあるトークンを,固定ブロックサイズに依存するのではなく,可変長ブロックに適応的にグループ化する学習可能なネットワーク,(2)予測された可変長ブロック内の復号ステップを減らして,並列でトークンをアンマスクする位置認識型サンプリング,という2つの重要なイネーラを統合する。
論文 参考訳（メタデータ） (2026-09-15T00:12:37Z) - Adaptive Multi-Step Lookahead Decoding for Diffusion Language Models [21.088701659053466]
仮面拡散言語モデル (DLM) は、マスク付きトークンを反復精製することで並列テキスト生成を可能にする。
近年のルックアヘッドによる復号化手法は,将来的な復号化状態の探索により精度-効率トレードオフを改善する。
DLMデコーディングのための適応型ルックアヘッドフレームワークであるAdaLookを提案する。
論文 参考訳（メタデータ） (2026-07-17T06:04:04Z) - PSD: Pushing the Pareto Frontier of Diffusion LLMs via Parallel Speculative Decoding [32.667256256847246]
拡散大言語モデル (dLLMs) は、マスク付きトークンシーケンスを反復的に記述することでテキストを生成する。
両軸に沿って推論を共同で改善するトレーニングフリーフレームワークであるParallel Speculative Decoding (PSD)を提案する。
論文 参考訳（メタデータ） (2026-05-15T04:43:02Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - Learning to Parallel: Accelerating Diffusion Large Language Models via Learnable Parallel Decoding [21.609237262034636]
大規模言語モデル(LLM)における自己回帰復号には、$n$トークンに対して$mathcalO(n)$シーケンシャルステップが必要である。
本稿では,並列デコード学習(Learn2PD)を提案する。これは軽量かつ適応的なフィルタモデルをトレーニングし,各トークン位置に対して,現在の予測が最終出力と一致するかどうかを予測するフレームワークである。
この学習されたフィルタは、正しく予測された場合にのみトークンをアンマスクするオラクル並列復号法を近似する。
論文 参考訳（メタデータ） (2025-09-29T17:59:54Z) - Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。
既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。
本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
論文 参考訳（メタデータ） (2025-07-24T16:51:33Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。
補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。
AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
論文 参考訳（メタデータ） (2025-06-04T08:32:30Z) - Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。
APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
論文 参考訳（メタデータ） (2025-05-31T06:10:10Z) - Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
underlinetextbfPositional textbfIntegrity textbfEncoding (PIE)
PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。
その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
論文 参考訳（メタデータ） (2024-07-03T14:34:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。