論文の概要: Distributed LLM Inference via Communication-Efficient Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.35957v1
• Date: Sun, 25 Oct 2026 05:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.371511
• Title: Distributed LLM Inference via Communication-Efficient Speculative Decoding
• Title（参考訳）: 通信効率の良い投機デコードによる分散LLM推論
• Abstract要約: DISCOは分散投機復号化のための通信効率のよいフレームワークである。 正確なターゲット分布を保持しながら、語彙スケールの分散転送を排除します。 既存の分散投機的復号法よりも高い復号速度を実現する。
• 参考スコア（独自算出の注目度）: 0.8399688944263842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed speculative decoding has emerged as a promising approach for device--server collaborative large language model (LLM) inference, but its decoding speedup is often limited by the vocabulary-scale communication overhead. In existing distributed speculative decoding methods, exact rejection sampling requires transmitting full token distributions over the LLM vocabulary between the device and the server, which becomes costly in bandwidth-constrained environments. To address this issue, we propose DISCO, a communication-efficient framework for distributed speculative decoding, that eliminates vocabulary-scale distribution transfer while preserving the exact target distribution. DISCO achieves this by introducing a server-side replica of the draft small language model (SLM), which enables the server to locally obtain the draft-side distribution required for rejection sampling. As a result, DISCO exchanges only drafted token indices and scalar probability values between the device and the server. Experimental results on multiple datasets show that DISCO consistently achieves higher decoding speedup than existing distributed speculative decoding methods, particularly under stringent bandwidth constraints.
• Abstract（参考訳）: 分散投機的復号化はデバイス-サーバ協調型大規模言語モデル(LLM)推論において有望なアプローチとして現れてきたが、その復号化速度は語彙スケールの通信オーバーヘッドによって制限されることが多い。 既存の分散投機復号法では、正確な復号法では、デバイスとサーバ間のLLM語彙上の完全なトークン分布を送信する必要がある。 この問題に対処するため,分散投機的復号化のための通信効率のよいフレームワークであるdisCOを提案する。 DISCOは、ドラフトスモールランゲージモデル(SLM)のサーバ側レプリカを導入し、サーバがリジェクションサンプリングに必要なドラフト側分布をローカルに取得できるようにする。 その結果、disCOは起草されたトークンインデックスとスカラー確率値のみをデバイスとサーバ間で交換する。 複数のデータセットに対する実験結果から,disCOは既存の分散投機的復号法よりも高い復号化速度を実現していることがわかった。

関連論文リスト

• Synchronized Logit Steering: Real-world Steganography [0.0]
  同期ログステアリング(SLS)について紹介する。 SLSは、プロキシプロンプト分布の高エントロピー領域内のトークンランクとしてペイロード値を符号化する。 本手法を周期的に拡張し,ペイロードバーストを拡大して情報密度を拡大する。
  論文  参考訳（メタデータ） (2026-08-09T22:49:45Z)
• X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding [8.873449722727026]
  本稿では,デバイス上の小言語モデル(SLM)が候補トークンをドラフトし,サーバが検証する分散大言語モデル(LLM)推論フレームワークについて検討する。 既存のCOSD法は、SLMとLLMの共通語彙を仮定し、かなりの通信負荷を発生させる。 異種SLM-LLM語彙のための通信効率の高いフレームワークであるクロスボキャブラリCoSDを提案する。
  論文  参考訳（メタデータ） (2026-07-15T08:44:59Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• Accelerating Local LLMs on Resource-Constrained Edge Devices via Distributed Prompt Caching [1.0832844764942349]
  リソース制約のあるエッジデバイス上でのローカルLSM推論は、重大なパフォーマンスボトルネックを課す。 本稿では,複数のローエンドエッジデバイス間で中間処理状態を協調的に共有することにより,推論性能を向上させる分散プロンプトキャッシングを提案する。
  論文  参考訳（メタデータ） (2026-02-26T09:53:17Z)
• Conformal Sparsification for Bandwidth-Efficient Edge-Cloud Speculative Decoding [26.64364475310812]
  エッジクラウド投機復号(SD)は、クラウドベースの大規模言語モデル(LLM)をエッジに持つことにより、推論を加速する。 中心的なボトルネックはエッジクラウドリンクの限られた帯域幅であり、ドラフトトークン分布の効率的な圧縮を必要とする。 Sparse Quantize-and-Sample SD フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-11T00:56:21Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
  大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。 本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:48:00Z)
• WDMoE: Wireless Distributed Large Language Models with Mixture of Experts [65.57581050707738]
  我々は,Mixture of Experts (MoE)に基づく無線分散大言語モデル(LLM)パラダイムを提案する。 我々は,基地局(BS)とモバイルデバイスにゲーティングネットワークと先行するニューラルネットワーク層を配置することにより,LLM内のMoE層を分解する。 我々は、モデルの性能とエンドツーエンドのレイテンシの両方を考慮して、専門家の選択ポリシーを設計する。
  論文  参考訳（メタデータ） (2024-05-06T02:55:50Z)
• Task-Oriented Communication for Multi-Device Cooperative Edge Inference [14.249444124834719]
  協調エッジ推論は、単一デバイスの限られた感知能力を克服することができるが、通信オーバーヘッドを大幅に増加させ、過度の遅延を引き起こす可能性がある。 タスク指向方式で局所特徴抽出と分散特徴符号化を最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-09-01T03:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。