論文の概要: MemSpec: Memory-Aware Runtime for Adaptive Draft Scheduling in Speculative Decoding on Edge Devices

• arxiv url: http://arxiv.org/abs/2608.10362v1
• Date: Tue, 11 Aug 2026 01:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.860024
• Title: MemSpec: Memory-Aware Runtime for Adaptive Draft Scheduling in Speculative Decoding on Edge Devices
• Title（参考訳）: MemSpec:エッジデバイスでの投機的デコーディングにおける適応ドラフトスケジューリングのためのメモリ対応ランタイム
• Abstract要約: 本稿では,エッジデバイス上での適応的投機的復号化のための,予測誘導型メモリ対応ランタイムMemSpecを提案する。 MemSpecは、プロアクティブな常駐作業セット管理を通じて実行からドラフト選択を分離する。 軽量な予測器はプロンプトと生成コンテキストからドラフトの有効性を推定し、メモリ対応スケジューラはリアクティブモデルのロードオーバーヘッドを削減する。
• 参考スコア（独自算出の注目度）: 1.0131895986034314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates autoregressive large language model (LLM) inference by using a lightweight draft model to speculate multiple tokens, reducing expensive target model decoding steps. Its effectiveness depends heavily on draft selection, motivating adaptive methods that exploit variation across inputs and generation stages. On memory-constrained edge devices, however, these methods often fail to improve end-to-end throughput due to the overhead of switching between draft models. We identify a key limitation in this setting: the mismatch between draft selection and draft availability under tight memory budgets. To address this challenge, we present MemSpec, a prediction-guided, memory-aware runtime for adaptive speculative decoding on edge devices. MemSpec decouples draft selection from execution through proactive resident working-set management. A lightweight predictor estimates draft effectiveness from prompt and generation context, while a memory-aware scheduler reduces reactive model loading overhead. Experiments on a Jetson Orin Nano show that MemSpec improves steady-state generation throughput by 40.7% on average over state-of-the-art bandit-based adaptive methods while closely approaching the oracle upper bound.
• Abstract（参考訳）: 投機的復号化は、軽量なドラフトモデルを用いて複数のトークンを推測することにより自己回帰的大言語モデル(LLM)推論を加速し、高価なターゲットモデル復号ステップを減少させる。 その効果はドラフトの選択に大きく依存しており、入力と生成段階の変動を利用する適応的な手法を動機付けている。 しかし、メモリ制限されたエッジデバイスでは、これらの手法は、ドラフトモデル間の切り替えのオーバーヘッドのために、エンドツーエンドのスループットを改善することができないことが多い。 この設定では、ドラフト選択とメモリの厳しい予算下でのドラフト可用性のミスマッチという、重要な制限を特定します。 この課題に対処するために,エッジデバイス上での適応的投機的復号化のための,予測誘導型メモリ対応ランタイムMemSpecを提案する。 MemSpecは、プロアクティブな常駐作業セット管理を通じて実行からドラフト選択を分離する。 軽量な予測器はプロンプトと生成コンテキストからドラフトの有効性を推定し、メモリ対応スケジューラはリアクティブモデルのロードオーバーヘッドを削減する。 Jetson Orin Nanoの実験により、MemSpecはオラクルの上界に近づきながら、最先端のバンディットベースの適応法よりも平均40.7%、定常状態の生成スループットを向上させることが示された。

関連論文リスト

• Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding [47.771248673145614]
  投機的復号化は大規模言語モデル(LLM)推論を高速化する手法として広く採用されている。 モデルに基づく投機的復号化における新しいメカニズムレベルの脆弱性を同定する。 提案するMistletoeは、投機的復号化に対するステルス的な加速・崩壊攻撃である。
  論文  参考訳（メタデータ） (2026-05-13T18:11:42Z)
• PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length [21.738896310075678]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論過程を高速化する強力な手法である 軽量でトレーニング可能な事前検証レイヤを用いて,ドラフト長を動的に制御する新しいアプローチであるPacerを提案する。 以上の結果から,Pacerは自己回帰復号化よりも最大2.66倍の高速化を実現し,一貫した投機復号化を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-01T15:12:38Z)
• AdaSD: Adaptive Speculative Decoding for Efficient Language Model Inference [1.1852406625172216]
  大規模言語モデル(LLM)に対する適応的投機的復号法(AdaSD)を提案する。 AdaSDは推論中に生成時間と受け入れ基準を動的に調整する。 ベンチマークデータセットの実験では、AdaSDは標準の投機的復号化よりも最大49%のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-12-12T04:56:08Z)
• Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match [21.810129153556044]
  訓練不要な投機的復号法(FLy)は、厳密な検証基準を緩める新しい手法である。 FLyは目標モデルの精度の99%以上を維持し,平均2.81倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-11-28T08:23:30Z)
• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• SLED: A Speculative LLM Decoding Framework for Efficient Edge Serving [7.69991252191073]
  acronymは、軽量エッジデバイスが様々なドラフトモデルを使用して、複数の候補トークンをローカルにドラフトできるフレームワークである。 単一の共有エッジサーバは、より正確なターゲットモデルを用いてトークンを検証する。 Jetson Orin Nano、Raspberry Pi 4B/5、Nvidia A100 GPUを搭載したエッジサーバを使った最初の実験は、大きなメリットを示している。
  論文  参考訳（メタデータ） (2025-06-11T04:55:54Z)
• BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms [101.9736063064503]
  大規模言語モデル(LLM)の推論を高速化する一般的な手法として、投機的復号法が登場した。 本稿では,テキスト生成時に投機的復号化のためのハイパーパラメータの設定を適応的に選択する学習自由オンライン学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T05:56:31Z)
• DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting [59.57151419673759]
  投機的復号化は、出力分布の忠実さを維持しながら生成遅延を低減するドラフト・then-verifyフレームワークを提供する。 我々は、CPUとGPUにそれぞれドラフトモデルとターゲットモデルを戦略的にデプロイする新しいアプローチであるDuoDecodingを提案する。 本手法は,アイドル時間を最小限に抑えるため,ハードウェア対応の最適ドラフト予算を組み込んで,動的マルチシーケンスドラフトを用いて,ドラフト品質を向上させる。
  論文  参考訳（メタデータ） (2025-03-02T08:27:48Z)
• AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability [5.421949344085942]
  AdaEDLは、静的なドラフト長の投機的デコーディングを10%から57%上回っている。 また、AdaEDLはこれらの技術よりも堅牢であり、高温シナリオにおける性能を保っていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T01:13:43Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。