論文の概要: Delay-Adaptive Speculation Control for Low-Latency Edge-Cloud LLM Inference
- arxiv url: http://arxiv.org/abs/2606.20591v1
- Date: Sun, 17 May 2026 07:15:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 19:17:13.375638
- Title: Delay-Adaptive Speculation Control for Low-Latency Edge-Cloud LLM Inference
- Title（参考訳）: 低遅延エッジクラウドLLM推論のための遅延適応型投機制御
- Abstract要約: 分散エッジクラウドでは、ドラフトの長さをオンラインでコントロールする必要がある。
最適ドラフト長は有限遅延単調閾値であることを示す。
本手法は,Jetson Orin Nano Super edge nodeと3090 Ti Cloud nodeを用いて実エッジクラウドテストベッド上で実装する。
- 参考スコア（独自算出の注目度）: 20.720083078911486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative decoding accelerates large language model (LLM) inference by using a lightweight draft model to propose tokens and a larger target model to verify them in parallel. In distributed edge-cloud inference, however, draft length must be controlled online: longer drafts amortize communication delay but reduce token acceptance, whereas shorter drafts preserve acceptance but trigger more communication rounds. We formulate this tradeoff as a ratio-type optimal stopping problem and prove that the optimal draft length is a finite delay-monotone threshold. The analysis identifies a critical delay below which single-token speculation is optimal and shows that the optimal length grows only logarithmically with communication delay. For time-varying networks, we extend the model to Markov-modulated channels and establish, under a bounded horizon and monotone stopping-region conditions, a state-dependent threshold policy. For unknown environments, we propose UCB-SpecStop, an online control algorithm with gap-free and gap-dependent expected regret bounds of $O(L_{\max}\sqrt{K_{\max}T\log(K_{\max}T)})$ and $O(\sum_{k:Δ_k>0}L_{\max}^2\log(K_{\max}T)/Δ_k)$. We implement the method on a real edge-cloud testbed with a Jetson Orin Nano Super edge node and an RTX~3090 Ti cloud node, using Qwen and Llama draft--target pairs. Experiments validate the predicted phase transition, with transition points near 83~ms and 111~ms. Qwen matches the geometric prediction, while Llama requires empirical-prefix calibration due to heavy-head acceptance. Across the tested delay grid, UCB-SpecStop reduces per-token latency over SpecDec++ by up to 22.4\%, approaches an offline oracle within 0.2--2.4\% in communication-dominated regimes, improves over naive UCB by up to 7.5\%, removes the 14.0--18.7\% gap caused by static tuning under delay drift, and gains 3.0--6.8\% with contextual channel-state information.
- Abstract（参考訳）: 投機的復号化は、軽量なドラフトモデルを使用してトークンを提案し、より大きなターゲットモデルを並列に検証することにより、大きな言語モデル(LLM)推論を加速する。
しかし、分散エッジクラウド推論では、ドラフトの長さはオンラインで制御されなければならない: 長いドラフトは通信遅延を補正するがトークンの受け入れを減らし、短いドラフトは受け入れを保ち、より多くの通信ラウンドをトリガーする。
このトレードオフを比型最適停止問題として定式化し、最適ドラフト長が有限遅延単調閾値であることを証明する。
この分析により,単一トークンの投機が最適である限界遅延を同定し,通信遅延と対数的にのみ最適な長さが成長することを示す。
時間変化のあるネットワークでは、モデルをマルコフ変調チャネルに拡張し、境界地平線と単調停止領域条件の下で状態依存しきい値ポリシーを確立する。
未知の環境に対して, UCB-SpecStopというオンライン制御アルゴリズムを提案する。このアルゴリズムは, ギャップフリーかつギャップ依存の残差境界が$O(L_{\max}\sqrt{K_{\max}T\log(K_{\max}T)})$と$O(\sum_{k:Δ_k>0}L_{\max}^2\log(K_{\max}T)/Δ_k)$である。
本手法は,Jetson Orin Nano Super edge node と RTX~3090 Ti cloud node を用いて,Qwen と Llama のドラフトターゲットペアを用いて実エッジクラウドテストベッド上で実装する。
実験は、83〜msと111〜msに近い遷移点を持つ予測相転移を検証する。
クウェンは幾何学的予測と一致し、ラマは重い頭部の受容のために経験的な修正校正を必要とする。
テストされた遅延グリッド全体で、UCB-SpecStopはSpecDec++上でのトーケン毎のレイテンシを最大22.4\%削減し、通信管理されたレシエーションにおいて0.2--2.4\%のオフラインオラクルにアプローチし、UCBを最大7.5\%改善し、遅延ドリフト中の静的チューニングによる14.0--18.7\%のギャップを除去し、コンテキストのチャネル状態情報で3.0--6.8\%を得る。
関連論文リスト
- Strictly Causal Streaming Video Anomaly Detection with a Theoretically-Grounded State-Space Core [2.648500779572419]
ルックアヘッドもクリップバッファリングも不要な因果ストリーミング異常検出器を導入する。
その時空コアは、入力と状態依存の崩壊ゲートを持つ対角線状状態空間の再発である。
繰り返し減衰スペクトルと検出遅延と、確実に捕捉できる最も短い異常との間に閉じた形状関係を導出する。
論文 参考訳（メタデータ） (2026-08-25T16:52:32Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - Capacity-Constrained Online Convex Optimization with Delayed Feedback [58.59385794080679]
容量制約下での遅延オンライン凸最適化(OCO)について検討した。
1次フィードバックの場合、容量$C = (log T)$ sufficesで標準遅延OCOレートを対数係数まで回復できることがわかった。
包帯フィードバックの場合、後悔率は$(1 + _textmax/C)$で変調される。
論文 参考訳（メタデータ） (2026-06-10T06:37:06Z) - TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding [4.5881678566958985]
パラレルドラフトに拡散モデルを用いることは、投機的復号法には有望なアプローチである。
単一のシーケンスの検証は受け入れ期間を制限し、大きなドラフトツリーの検証は過度なターゲットモデル遅延を引き起こす。
本稿では,拡散限界を経路条件付き受入推定値に変換するターゲット対応プレフィックス選択法TAPSを提案する。
論文 参考訳（メタデータ） (2026-05-30T02:39:40Z) - IGT-OMD: Implicit Gradient Transport for Decision-Focused Learning under Delayed Feedback [0.0]
意思決定にフォーカスした学習トレインは、下流の意思決定損失に対してエンドツーエンドでモデルをモデル化するが、オンライン設定は遅延したフィードバックに悩まされる。
遅延下での2レベル最適化に特有の障害モードであるエンフスタレンス増幅を同定する。
ブラックボックス遅延勾配が内部解法近似誤差から既約後悔コストを生じることを証明した。
論文 参考訳（メタデータ） (2026-05-12T19:43:49Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳（メタデータ） (2025-11-12T23:09:52Z) - Network-Optimised Spiking Neural Network (NOS) Scheduling for 6G O-RAN: Spectral Margin and Delay-Tail Control [7.382006859754025]
本研究は,ネットワーク最適化スパイキング(NOS)による6G無線アクセスのための遅延対応スケジューラを提案する。
小信号解析は遅延依存しきい値$k_star(Delta)$とスペクトルマージン$delta = k_star(Delta) - gHrho(W)$を生成し、トポロジ、コントローラゲイン、遅延を1つの設計パラメータに圧縮する。
論文 参考訳（メタデータ） (2025-10-13T11:28:28Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Network-Optimised Spiking Neural Network for Event-Driven Networking [2.5941336499463383]
スパイキングニューラルネットワークは、異常検出、ローカルルーティング制御、エッジでの混雑管理など、時間クリティカルなネットワークタスクに適したイベント駆動型計算を提供する。
本稿では,正規化された待ち行列の占有状態と回復資源を符号化したコンパクトな2変数ユニットであるNetwork-Optimized Spiking (NOS)を紹介する。
我々は、データ駆動初期化、リセットシャープネスに基づくホモトピーによる代理段階トレーニング、リソース制約されたデプロイメントのための境界のトポロジによる明確な安定性チェックのガイダンスを提供する。
論文 参考訳（メタデータ） (2025-09-27T22:31:24Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:59:18Z) - Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。
我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
論文 参考訳（メタデータ） (2024-02-19T03:08:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。