論文の概要: ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models

• arxiv url: http://arxiv.org/abs/2610.20503v2
• Date: Sun, 18 Oct 2026 15:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.30355
• Title: ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
• Title（参考訳）: ReaDy: ハイブリッド線形注意大言語モデルにおける投機的ドラフトのための動的文脈としての逐次状態
• Abstract要約: 投機的復号化は、ステップ毎に複数のトークンを起草することで自己回帰生成を加速する。 HLAモデルは、歴史的関連を蓄積するコンパクトなリカレント状態を維持している。 本稿では,HLA再帰状態を利用した最初の投機的復号法ReaDyを紹介する。
• 参考スコア（独自算出の注目度）: 11.006284200851466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates autoregressive generation by drafting multiple tokens per step, yet feature-based drafters rely on target hidden features whose contextual emphasis may not align with the needs of subsequent draft positions. Hybrid linear attention (HLA) models maintain compact recurrent states that accumulate historical associations, offering an efficient source of complementary context for speculative drafting. We introduce ReaDy, the first speculative decoding method, to the best of our knowledge, to leverage HLA recurrent states for position-specific context retrieval during drafting. ReaDy equips each draft position with a learned query to retrieve supplementary context directly from the target's committed recurrent states. A lightweight state reader integrates this context into draft representations through residual updates, while low-rank state reads and fused operators keep additional computation and I/O overhead low. Building on DSpark's parallel backbone and sequential prediction head, ReaDy employs a lightweight two-stage adaptation strategy, with reader capacity, state sources, and residual placement examined through ablation studies. Across seven benchmarks spanning mathematics, code generation, and dialogue, ReaDy achieves an average $3.16\times$ decoding speedup over autoregressive decoding with Qwen3.8-27B on a single NVIDIA B200 GPU. It outperforms DSpark on every benchmark, improving throughput by 7.97% and acceptance length by 8.50% on average. Our code is available at https://github.com/StartLuxLabs/ReaDy.
• Abstract（参考訳）: 投機的復号化は、ステップ毎に複数のトークンをドラフトすることで自己回帰生成を加速させるが、機能ベースのドラフトラは、その後のドラフトポジションのニーズに一致しないような、コンテキスト的に強調される対象の隠れた特徴に依存している。 ハイブリッド線形アテンション(HLA)モデルは、歴史的関連を蓄積するコンパクトなリカレント状態を維持し、投機的起草のための補完的コンテキストの効率的な情報源を提供する。 本稿では,最初の投機的復号法であるReaDyを紹介する。 ReaDyは、各ドラフト位置に学習されたクエリを装備し、ターゲットのコミットされたリカレント状態から直接補足コンテキストを検索する。 軽量状態リーダは、このコンテキストを残高更新を通じてドラフト表現に統合する一方、低ランク状態読み込みと融合演算子は、さらなる計算とI/Oオーバーヘッドを低く保ちます。 DSparkの並列バックボーンとシーケンシャルな予測ヘッドに基づいて構築されたReaDyは、リード容量、状態ソース、および残配置をアブレーション研究によって検証した、軽量な2段階適応戦略を採用している。 数学、コード生成、対話にまたがる7つのベンチマークで、ReaDyは1つのNVIDIA B200 GPU上でQwen3.8-27Bで自動回帰デコードよりも平均3.16\times$デコードスピードアップを達成した。 ベンチマーク毎にDSparkを上回り、スループットが7.97%向上し、受け入れ期間が平均8.50%向上した。 私たちのコードはhttps://github.com/StartLuxLabs/ReaDyで利用可能です。

関連論文リスト

• Contextual Correction of Parallel Draftsfor Speculative Decoding [45.86473120779775]
  DCOCO(DFlash Contextual Corrector)は,並列ドラフトを保ちながらブロック内依存関係を復元する軽量なメカニズムである。 4つの検証器のバックボーンと10のベンチマークで、DCOCOは評価された構成ごとに最も高い平均スループットを達成する。 DCOCOは4～32の同時リクエストに対して6～23%の差で最強の競合メソッドを上回ります。
  論文  参考訳（メタデータ） (2026-10-08T18:01:03Z)
• To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals [53.517661959543894]
  投機的復号法 (SD) はLarge Language Model (LLM) の推論を著しく加速した。 既存のアプローチは、ニューラルドラフトとコンテキストベースのコピーという2つのドラフト戦略の根本的なトレードオフに直面している。 既存のコピーベース手法を解析し、それらが偶然に繰り返される傾向があることを確認する。 本稿では,LLMの遅延制御信号としてコピー処理を扱う適応型フレームワークであるSwitchSDを紹介する。
  論文  参考訳（メタデータ） (2026-09-17T12:51:20Z)
• Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation [53.85136813868056]
  ACToRは、リポジトリレベルのコード生成のための適応型クリティカルトークン対応検索フレームワークである。 我々は、ACToRが、リポジトリレベルのベンチマークにおいて、最先端のメソッドを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-09-01T17:59:39Z)
• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
  大規模言語モデルに対する文脈対応適応型復号法を提案する。 当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。 モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
  論文  参考訳（メタデータ） (2025-08-04T08:28:25Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
  検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。 本稿では,不要な場合の検索を回避するため,選択的なRAGフレームワークを提案する。 我々のフレームワークは、異なる世代モデル、レトリバー、プログラミング言語に対応できることを示します。
  論文  参考訳（メタデータ） (2024-03-15T06:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。