論文の概要: READER: Retrieval-Assisted Drafter for Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2508.09072v2
• Date: Sat, 27 Sep 2025 20:13:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.759981
• Title: READER: Retrieval-Assisted Drafter for Efficient LLM Inference
• Title（参考訳）: READER: 効率的なLLM推論のための検索支援ドレター
• Authors: Maxim Divilkovskiy, Vitaly Malygin, Sergey Zlobin, Stanislav Ilyushin, Sultan Isali, Vasily Kalugin, Nuriza Aitassova, Fei Yi, Weidi Zeng,
• Abstract要約: 自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
• 参考スコア（独自算出の注目度）: 0.0386965802948046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive Language Models instantiate a factorized likelihood over token sequences, yet their strictly sequential decoding process imposes an intrinsic lower bound on inference latency. This bottleneck has emerged as a central obstacle to the scalable deployment of large-scale generative models. Existing acceleration techniques partially mitigate token-level latency by relying on auxiliary draft models or introducing an additional training phase, but fail to address the dominant memory and communication costs. We present READER, a provably lossless speculative decoding framework that bypasses the training of the auxiliary draft model. READER formalizes speculative decoding as a stochastic tree construction problem and exploits the empirical redundancy structure of natural language to generate high-probability candidate continuations. Our method revisits the problem of constructing draft trees, establishing substantial statistical improvements over stochastic draft-tree methods and providing a complexity-theoretic analysis that characterizes the optimality frontier of speculative decoding under bounded computation and memory resources. Beyond the single-sequence regime traditionally considered in prior work, we introduce a memory-optimal key-value cache-serving strategy that guarantees amortized sublinear overhead in the batch dimension, allowing READER to scale to realistic inference workloads. Comprehensive experiments demonstrate up to 6.13x wall-clock speedup on single-prompt inference and up to 5.92x on batched inference, consistently surpassing prior speculative decoding baselines, while preserving exact output equivalence, with even more pronounced gains in retrieval-augmented generation pipelines. Our results close a key gap between theoretical parallelism limits and practical LLM inference, suggesting a new standard for efficient deployment.
• Abstract（参考訳）: 自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、推論レイテンシーに固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 既存のアクセラレーション技術は、補助的なドラフトモデルや追加のトレーニングフェーズの導入によってトークンレベルのレイテンシを部分的に軽減するが、支配的なメモリと通信コストには対処できない。 本稿では、補助的ドラフトモデルのトレーニングを回避した、確実な損失のない投機的復号化フレームワークREADERを提案する。 READERは確率木構築問題として投機的復号法を定式化し、自然言語の経験的冗長構造を利用して高確率候補継続を生成する。 提案手法では, 提案手法の問題点を再検討し, 確率的ドラフトツリー法に対する統計的改善と, 有界計算およびメモリ資源下での投機的復号化の最適性フロンティアを特徴付ける複雑性理論解析を提供する。 従来の作業で考慮されていた単一シーケンス方式以外にも,メモリ最適化キー値キャッシュ保存戦略を導入し,バッチ次元におけるアモータライズされたサブ線形オーバーヘッドを保証し,READERを現実的な推論処理にスケール可能にする。 総合的な実験では、単一プロンプト推論で最大6.13倍のウォールタイムのスピードアップ、バッチ推論で最大5.92倍の速度アップを示し、予測デコードベースラインを一貫して上回り、正確な出力等価性を保ちながら、検索強化された生成パイプラインでさらに顕著な利得が得られる。 提案手法は,理論的並列性限界と実用的LCM推論との間に重要なギャップを埋めるものであり,効率的な展開のための新しい標準が提案されている。

関連論文リスト

• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding [76.23719557942917]
  TETRISは、(バッチ内のすべてのリクエストに対して)最も有望なドラフトトークンを積極的に選択する。 我々は,TETRISがベースライン投機的復号法およびドラフトトークンを動的に選択する既存手法より優れていることを理論的かつ実証的に示す。
  論文  参考訳（メタデータ） (2025-02-21T04:19:24Z)
• Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding [1.3479499607624648]
  投機的復号化は、ドラフトと検証という2段階のフレームワークを導入することでボトルネックに対処する。 より小さく効率的なモデルが予備のドラフトを生成し、より大きくより洗練されたモデルによって洗練される。 本稿では、投機的復号法を包括的に調査し、それらをドラフト中心およびモデル中心のアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-20T09:46:30Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。