論文の概要: TeCoP: Accelerating Diffusion Large Language Model Decoding via Tentative Context Pipelining
- arxiv url: http://arxiv.org/abs/2610.27583v1
- Date: Tue, 20 Oct 2026 03:48:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.62172
- Title: TeCoP: Accelerating Diffusion Large Language Model Decoding via Tentative Context Pipelining
- Title（参考訳）: TeCoP: 緊張的コンテキストパイプライニングによる拡散型大規模言語モデルデコーディングの高速化
- Abstract要約: Tentative Context Pipelining (TeCoP) は、トレーニング不要のデコーダである。
GSM8K、Minerva MATH、MBPPの4つのLLaDAおよびDream dLLMにおいて、TeCoPは前方評価を最大87%削減する。
Fast-dLLMとDSBは、キャッシュなしで12のモデルベンチマーク設定でスループットを上回り、キャッシュされた平均精度を元のデコーダの1パーセンテージポイントに維持する。
- 参考スコア（独自算出の注目度）: 12.572556216986952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion large language models (dLLMs) predict multiple token positions per forward pass, yet block-wise decoders serialize generation and repeatedly recompute stable predictions. We attribute this inefficiency to coupling a prediction's readiness for irreversible commitment with its utility as context. We introduce Tentative Context Pipelining (TeCoP), a training-free decoder that decouples these roles through staggered block-parallel pipelining and draft-and-verify. TeCoP reuses stable but uncommitted predictions as provisional cross-block context, with commitment governed by confidence and stability checks. Across four LLaDA and Dream dLLMs on GSM8K, Minerva MATH, and MBPP, TeCoP reduces number of forward evaluations by up to 87% and achieves up to 7.50-fold throughput without KV caching and 11.77-fold with caching over the uncached original decoder. It outperforms Fast-dLLM and DSB in throughput across all 12 model-benchmark settings, with and without caching, while keeping average cached accuracy within one percentage point of the original decoder.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)は前方通過毎に複数のトークン位置を予測するが、ブロックワイドデコーダは生成をシリアライズし、安定した予測を繰り返し繰り返す。
我々は、この非効率性は、その実用性に対する不可逆的なコミットメントに対する予測の準備ができていることをコンテキストとして結合しているとみなす。
Tentative Context Pipelining (TeCoP)は、静的なブロック並列パイプライニングとドラフト・アンド・バリデーションによってこれらの役割を分離する、トレーニング不要なデコーダである。
TeCoPは、信頼性と安定性チェックによるコミットメントによって、一時的なクロスブロックコンテキストとして、安定だが非コミットな予測を再利用する。
GSM8K、Minerva MATH、MBPPの4つのLLaDAおよびDream dLLMで、TeCoPは前方評価を最大87%削減し、KVキャッシュなしで最大7.50倍のスループット、キャッシュなしで11.77倍のキャッシュを実現している。
Fast-dLLMとDSBは、キャッシュなしで12のモデルベンチマーク設定でスループットを上回り、キャッシュされた平均精度を元のデコーダの1パーセンテージポイントに維持する。
関連論文リスト
- Compile the Table: Query-Calibrated Operator Compression for Tabular In-Context Learning [22.62308707138756]
タブラル・イン・コンテクスト・ラーニング(ICL)は、予測のためのトレーニングフリーで正確なパラダイムとして登場した。
本稿では,QCOC(Query-Calibrated Operator Compression)を提案する。
我々は,QCOCが完全コンテキストに近い精度を維持しつつ,クエリ間のコンパクトメモリ再利用推論と効率的な推論を可能にすることを示す。
論文 参考訳（メタデータ） (2026-10-08T12:00:43Z) - CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳（メタデータ） (2026-08-31T06:02:37Z) - Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。
本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。
RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文 参考訳（メタデータ） (2026-08-12T07:32:29Z) - Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference [1.9857559596234147]
長文推論は、検索拡張生成とエージェントシステムによって駆動される大規模言語モデル(LLM)において、ますます一般的になっている。
近年のKV量子化技術はデータ量を削減し、このボトルネックを軽減するが、既存のスキームでは低レイテンシと高い推論精度を達成できない。
我々は、KVキャッシュを、最も重要なビットを持つ高優先度アンカーストリームと、残りの精度を持つ低優先度残留ストリームに分割することで、プログレッシブな分割ストリームKV転送を可能にするLynxを提案する。
論文 参考訳（メタデータ） (2026-07-02T07:52:43Z) - Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。
我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。
推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
論文 参考訳（メタデータ） (2026-04-16T00:04:32Z) - RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse [5.597099794399441]
RelayCachingはトレーニング不要な推論手法で、前のエージェントから復号フェーズKVキャッシュを直接再利用する。
RelayCachingは80%以上のKVキャッシュの再利用を実現し、TTFTを標準パイプラインと比較して最大4.7倍のコストで削減できることを示す。
論文 参考訳（メタデータ） (2026-02-28T04:46:28Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。
LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
論文 参考訳（メタデータ） (2024-06-08T01:35:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。