論文の概要: Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving

• arxiv url: http://arxiv.org/abs/2512.22420v1
• Date: Sat, 27 Dec 2025 00:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.043589
• Title: Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving
• Title（参考訳）: Nightjar: 大規模言語モデルの動的適応的投機的デコーディング
• Authors: Rui Li, Zhaoning Zhang, Libo Zhang, Huaimin Wang, Xiang Fu, Zhiquan Lai,
• Abstract要約: Nightjarは適応的投機推論のための新しい学習ベースのアルゴリズムである。 Nightjarは最大14.8%のスループットと20.2%のレイテンシを実現している。
• 参考スコア（独自算出の注目度）: 20.36184808907598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding (SD) accelerates LLM inference by verifying draft tokens in parallel. However, this method presents a critical trade-off: it improves throughput in low-load, memory-bound systems but degrades performance in high-load, compute-bound environments due to verification overhead. Current SD implementations use a fixed speculative length, failing to adapt to dynamic request rates and creating a significant performance bottleneck in real-world serving scenarios. To overcome this, we propose Nightjar, a novel learning-based algorithm for adaptive speculative inference that adjusts to request load by dynamically selecting the optimal speculative length for different batch sizes and even disabling speculative decoding when it provides no benefit. Experiments show that Nightjar achieves up to 14.8% higher throughput and 20.2% lower latency compared to standard speculative decoding, demonstrating robust efficiency for real-time serving.
• Abstract（参考訳）: 投機的復号(SD)は、ドラフトトークンを並列に検証することでLCM推論を加速する。 しかし,本手法は低負荷のメモリバウンドシステムではスループットが向上するが,検証オーバーヘッドにより高負荷の計算バウンド環境では性能が低下する。 現在のSD実装では、固定された投機的長さを使用しており、動的要求率に適応できず、現実のサービスシナリオにおいて重要なパフォーマンスボトルネックを生み出している。 そこで本研究では,異なるバッチサイズに対して最適な投機長を動的に選択し,メリットのない場合に投機復号を無効にすることで,要求負荷に適応する適応的投機推論のための新しい学習ベースアルゴリズムであるNightjarを提案する。 実験の結果、Nightjarは標準的な投機的復号化よりも最大14.8%のスループットと20.2%のレイテンシを実現し、リアルタイムサービスのための堅牢な効率を実証している。

関連論文リスト

• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
  Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。 既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。 本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
  論文  参考訳（メタデータ） (2025-07-24T16:51:33Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences [11.225649178057695]
  SpecExtendは、追加のトレーニングなしで長いシーケンスでの投機的復号化を改善する。 長い入力のドラフト精度と速度をトレーニングせずに向上させるため,クロスモデル検索を提案する。 SpecExtendは16K-tokenの長い要約で最大2.84倍、長い推論で最大3.86倍の投機的復号化を加速する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:00Z)
• MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding [12.74265334789358]
  我々は,中間列から長列への高スループット推論方式であっても,投機的復号化が高速化可能であることを示す。 最大高速化のための最適起草戦略を選択するための理論的モデルを提案する。 中程度から長いシーケンスでは、32から256までのバッチサイズでLlama3.1-8Bの2.51倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2024-08-20T17:57:31Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• TurboSpec: Closed-loop Speculation Control System for Optimizing LLM Serving Goodput [37.56866491624234]
  大規模言語モデル (LLM) システムは、効率的なサービスを実現するために、同時ユーザー要求をバッチ化する。 本稿では,実行環境を自動的にプロファイリングする投機制御システムTurboSpecを提案する。 さまざまなワークロードとハードウェア構成にまたがって、その効果を実証します。
  論文  参考訳（メタデータ） (2024-06-20T07:43:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。