論文の概要: LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding
- arxiv url: http://arxiv.org/abs/2608.20530v1
- Date: Thu, 20 Aug 2026 19:43:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.190561
- Title: LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding
- Title（参考訳）: LiLiCorr:投機的復号化のための並列ドラフトの軽量類似性
- Abstract要約: 投機的復号化は、ターゲットモデルが並列に検証する将来のトークンを起草することで言語モデル推論を加速する。
リリコラー(LiLiCorr)は、リレーダが既に生成している配置ごとの限界分布を相関する軽量な類似モデルである。
LiLiCorrは72設定中70のスループットを提供する。
- 参考スコア（独自算出の注目度）: 20.199505845822745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding accelerates language-model inference by drafting future tokens that the target model verifies in parallel. A diffusion-style block head such as DFlash is an attractive drafter, predicting an entire block of future tokens in one forward pass. However, it is trained on per-position marginals rather than the joint block distribution, so the tokens it emits are individually plausible yet jointly incoherent. We introduce LiLiCorr, a Lightweight Likelihood-based model that Correlates the per-position marginal distributions a drafter already produces. It keeps the top-k tokens at each position as candidates and processes them jointly, producing for each an in and an out vector. A pair of adjacent candidates matches when the earlier one's out vector has high cosine similarity with the later one's in vector. These matches capture the block's joint structure without ever materializing the full joint distribution. One lightweight network pass produces all the vectors, and the pairwise scores are then computed in parallel as batched matrix operations, leaving only a cheap greedy walk sequential. We further co-train the drafter with LiLiCorr, so it learns to propose candidates that correlate into longer accepted sequences. Over the vanilla DFlash drafter, LiLiCorr raises acceptance length on every benchmark by 9 to 19%, while its scoring head accounts for about 2.8% of the per-block latency. Against DFlash and two concurrent methods that also restore coherence at draft time, LiLiCorr delivers the highest throughput in 70 of 72 settings: nine benchmarks at two target sizes under greedy and temperature-one decoding, and a throughput sweep over six concurrencies, two input lengths and three entropy tiers, with all systems equally optimized on a common serving stack. Extending LiLiCorr to inputs an order of magnitude longer than it was trained on preserves that lead.
- Abstract（参考訳）: 投機的復号化は、ターゲットモデルが並列に検証する将来のトークンを起草することで言語モデル推論を加速する。
DFlashのような拡散スタイルのブロックヘッドは魅力的なドラフトであり、将来のトークンのブロック全体を1つの前方通過で予測する。
しかし、これは結合ブロック分布よりも位置当たりの辺縁について訓練されているため、それらが放出するトークンは個々に可算であるが、連接的に不整合である。
リリコラー(LiLiCorr)は、リレーダが既に生成している配置ごとの限界分布を相関する軽量な類似モデルである。
トップkトークンを候補として各位置に保持し、それらを共同で処理し、インベクタとアウトベクタ毎に生成する。
隣接する候補のペアは、前者のアウトベクターが後者のインベクターとコサインの類似度が高いときに一致する。
これらのマッチは、完全な関節分布を成すことなくブロックの関節構造を捕捉する。
1つの軽量ネットワークパスが全てのベクトルを生成し、ペアワイズスコアはバッチ行列演算として並列に計算され、安価なグレディウォークしか残らない。
さらに、LiLiCorrでドラフトをトレーニングするので、より長いシーケンスに相関する候補を提案することを学びます。
バニラDFlashドラフトでは、LiLiCorrは各ベンチマークの受け入れ期間を9～19%引き上げ、スコアリングヘッドはブロック毎のレイテンシの2.8%を占めている。
DFlashと2つの並列メソッドがドラフト時にコヒーレンスを復元するのに対して、LiLiCorrは72設定中70のスループットを提供する。
LiLiCorrを入力に拡張することは、リードを保存するためにトレーニングされたものよりも桁違いに長い。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - xPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding [15.519504114030221]
ブロック拡散型ドラフトラは、1つのフォワードパスで、ドラフトトークンのブロック全体を生成する。
拡散型ドラフトラにおいて欠落した因果関係を復元する手段としてxPressを提案する。
論文 参考訳（メタデータ） (2026-08-03T16:18:22Z) - TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding [32.75269650141292]
投機的復号化のためのワンショットブロックのドラフトは、1つのフォワードパスで完全なドラフトを生成する。
それぞれのドラフトトークンはプレフィックスコンテキストのみに条件付けされ、以前のドラフトトークンに依存しない。
この非自己回帰条件は、ドラフトの深さが大きくなるにつれて、検証者の真の自己回帰分布からドラフトの分布が分岐する。
そこで我々は,この問題に対処するために,プロダクタの隠蔽状態とそれ以前のトークンに条件付きレイヤを組み込んで,自己回帰分布を近似するTreeFlashを提案する。
論文 参考訳（メタデータ） (2026-06-02T16:00:18Z) - Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。
実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
論文 参考訳（メタデータ） (2026-04-02T22:21:24Z) - Batch Speculative Decoding Done Right [6.388537448371643]
投機的復号化は、小さなドラフトモデルを用いてLLM推論を高速化し、ターゲットモデルが並列に検証する複数のトークンを提案する。
同じバッチ内のシーケンスは、異なる数のドラフトトークンを受け取り、右アライメントを破り、位置IDを破損させ、アテンションマスク、KV-cache状態となる。
いくつかの既存のバッチ実装が出力等価性に反していることが示され、投機的復号化は標準的な自己回帰生成と同一のトークンシーケンスを生成する必要があるという基本的な要件が示される。
論文 参考訳（メタデータ） (2025-10-26T23:59:23Z) - Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。
これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。
現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか?
i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
論文 参考訳（メタデータ） (2025-10-01T17:08:59Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。
投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
論文 参考訳（メタデータ） (2024-10-08T01:05:08Z) - PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。
PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。
各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
論文 参考訳（メタデータ） (2024-08-13T08:32:06Z) - Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。
Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
論文 参考訳（メタデータ） (2024-05-28T17:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。