論文の概要: SpecLA: Efficient Speculative Decoding for Linear-Attention Models
- arxiv url: http://arxiv.org/abs/2607.16673v1
- Date: Sat, 18 Jul 2026 07:08:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.22443
- Title: SpecLA: Efficient Speculative Decoding for Linear-Attention Models
- Title（参考訳）: SpecLA: 線形アテンションモデルのための効率的な投機的デコーディング
- Abstract要約: SpecLAは、ステートフルなリニアアテンションモデルのための投機的ランタイムデコーディングである。
公開GDN-1.3Bターゲットを持つNVIDIA H100では、SpecLAは自動回帰デコードよりも最大1.70倍のエンドツーエンドのスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 23.993269460318704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linear-attention models replace the growing KV cache with recurrent states, but autoregressive decoding still reads, updates, and writes these states one token at a time. Speculative decoding can reduce this cost by verifying several draft tokens in one target pass, yet existing speculative systems are designed for Transformer KV caches. For stateful linear-attention targets, verification must follow recurrent dependencies across chains and branches, acceptance must update only the accepted state trajectory, and the drafter must avoid submitting candidates that waste stateful verification work. This paper presents SpecLA, a speculative decoding runtime for stateful linear-attention models. SpecLA verifies chains and trees with topology-aware kernels, stores compact factors produced during verification to recover accepted states, and uses confidence pruning plus a target-aligned EAGLE-style drafter to feed useful candidates to the verifier. On an NVIDIA H100 with a public GDN-1.3B target, SpecLA achieves up to 1.70x end-to-end speedup over autoregressive decoding.
- Abstract（参考訳）: 線形アテンションモデルは成長するKVキャッシュをリカレントステートに置き換えるが、自動回帰デコードはまだ読み取り、更新、書き込みを一度に1つのトークンで行う。
投機的復号化は、1つのターゲットパスで複数のドラフトトークンを検証することでこのコストを削減することができるが、既存の投機的システムはトランスフォーマーKVキャッシュ用に設計されている。
ステートフルなリニアアテンションターゲットでは、検証はチェーンとブランチをまたいだリカレントな依存関係に従う必要があり、受け入れは受け入れた状態軌跡のみを更新し、ドラフトアはステートフルな検証作業の無駄な候補の提出を避ける必要がある。
本稿では、ステートフルリニアアテンションモデルのための投機的デコードランタイムであるSpecLAを提案する。
SpecLAは、トポロジを意識したカーネルでチェーンとツリーを検証し、検証中に生成されたコンパクトな要素を格納し、信頼プルーニングとターゲット整列EAGLEスタイルのドラフトラを使って検証者に有用な候補を供給している。
公開GDN-1.3Bターゲットを持つNVIDIA H100では、SpecLAは自動回帰デコードよりも最大1.70倍のエンドツーエンドのスピードアップを達成する。
関連論文リスト
- Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - CURE: Local Uncertainty Repair for Block-Parallel Speculative Decoding [6.268849049716121]
CUREは、不確実な焦点でエラーを修復するために設計された予算対応の動的修復ツリーである。
CUREは並列ベースライン上で平均許容長を4.2-7.5%増加させる。
また、標準的な並列ドラフトフレームワークと互換性のあるプラグアンドプレイ修復モジュールも提供します。
論文 参考訳（メタデータ） (2026-08-01T08:43:34Z) - A Sparse Glimpse of the Whole: Train-Free Self-Speculative Decoding [11.263048239748379]
長文推論のためのトレーニング不要な自己投機的デコーディングフレームワークであるSparseSpec-Lを紹介する。
SparseSpec-Lは動的にスパース化され、リコール可能なKVキャッシュを使用して、ターゲットモデルから直接軽量なドラフトを生成する。
複数の長期コンテキストタスクとモデルスケールにわたる実験は、一貫したエンドツーエンドの加速を示す。
論文 参考訳（メタデータ） (2026-07-30T06:16:56Z) - LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding [11.799175681800696]
キーバリュー(KV)キャッシュは、生成されたトークンに対する過去の計算を再利用することで、大きな言語モデル(LLM)の推論を加速する。
既存のソリューションは、再利用をプレフィックスに制限するか、位置再符号化のために高価なメモリの実体化を必要とする。
本稿では、遅延位置符号化をカーネル化し、ゼロコピーで位置に依存しないKVの再利用を可能にする新しいアテンション機構であるLazyAttentionを紹介する。
論文 参考訳（メタデータ） (2026-06-03T00:12:22Z) - Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding [15.040000425985324]
ツリーベースの投機的復号化は、複数のドラフト候補を並列に検証することで自己回帰生成を加速するが、この利点はスパース・ミックス・オブ・エクササイズ(MoE)モデルでは弱まる。
我々は,MoE投機的復号化のためのトレーニング不要,ハイパーパラメータフリー,ロスレス適応検証手法EVICTを提案する。
EVICTは、目標検証の前にドラフトツリーを切断し、コスト効率の良いプレフィックスのみを保持することで、検証済みのトークンを全てカウントする。
論文 参考訳（メタデータ） (2026-05-01T01:52:01Z) - SpecAttn: Co-Designing Sparse Attention with Self-Speculative Decoding [3.47505166101801]
SpecAttnは、検証誘導スパースアテンションを持つ自己投機的復号法である。
バニラ自動回帰復号法よりも2.81$times$高いスループットと、最先端のパリティベースの復号法よりも1.29$times$高いスループットを実現している。
論文 参考訳（メタデータ） (2026-02-06T22:12:52Z) - SpecPV: Improving Self-Speculative Decoding for Long-Context Generation via Partial Verification [11.366541829206199]
投機的復号化は、生成を加速するための最も直接的で効果的なアプローチの1つである。
部分鍵値状態を用いた高速な検証を行う自己投機的復号法であるSpecPVを導入する。
LLaMA-3.1-8B-Instruct や Qwen3-Series など,複数の長文ベンチマークやモデルで SpecPV を検証する。
論文 参考訳（メタデータ） (2025-12-02T02:15:33Z) - SpecDiff-2: Scaling Diffusion Drafter Alignment For Faster Speculative Decoding [48.96349422252313]
投機的復号化は,Large Language Model (LLM)推論の高速化のための標準手法となっている。
自動回帰デコーディングの遅延を回避し、印象的なスピードアップを実現するために、損失のないドラフト検証手順を利用する。
本稿では,これら2つのボトルネックに共同で対処する新しいフレームワークであるSpecDiff-2を提案する。
論文 参考訳（メタデータ） (2025-11-01T16:12:56Z) - Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。
HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2025-10-22T15:56:19Z) - REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。
ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。
高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
論文 参考訳（メタデータ） (2025-10-06T02:48:13Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - AutoJudge: Judge Decoding Without Manual Annotation [13.451750613294054]
AutoJudgeは大規模言語モデル(LLM)推論をタスク固有の損失投機的デコードで高速化する手法である。
提案手法は,ターゲットモデルとドラフトモデルとのミスマッチのどれを修正すべきかを,半グレディな探索アルゴリズムに頼っている。
論文 参考訳（メタデータ） (2025-04-28T17:59:28Z) - QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。
これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。
そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
論文 参考訳（メタデータ） (2025-02-05T20:43:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。