論文の概要: X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding
- arxiv url: http://arxiv.org/abs/2609.09166v1
- Date: Wed, 15 Jul 2026 08:44:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.486045
- Title: X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding
- Title（参考訳）: X-CoSD:通信効率の良いクロスボキャブラリ協調投機デコード
- Abstract要約: 本稿では,デバイス上の小言語モデル(SLM)が候補トークンをドラフトし,サーバが検証する分散大言語モデル(LLM)推論フレームワークについて検討する。
既存のCOSD法は、SLMとLLMの共通語彙を仮定し、かなりの通信負荷を発生させる。
異種SLM-LLM語彙のための通信効率の高いフレームワークであるクロスボキャブラリCoSDを提案する。
- 参考スコア（独自算出の注目度）: 8.873449722727026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates collaborative speculative decoding (CoSD), a distributed large language model (LLM) inference framework in which an on-device small language model (SLM) drafts candidate tokens and a server LLM verifies them. Existing CoSD methods assume a shared vocabulary between the SLM and the LLM and incur substantial communication load because residual resampling requires token distribution exchange between the user device and the edge server. To address these limitations, we propose cross-vocabulary CoSD (X-CoSD), a lossless and communication-efficient CoSD framework for heterogeneous SLM-LLM vocabularies. X-CoSD is built on hybrid resampling (HR), which splits residual resampling across the common-vocabulary region on the device and the LLM-only region on the server, so that distribution transmission is required only for the common-vocabulary region. We further propose X-CoSD-E, an enhanced variant based on server resampling with device verification (SR-DV), in which the server sends only replacement candidates sampled from the server LLM and their corresponding probabilities for local verification at the device. We prove that both X-CoSD and X-CoSD-E preserve the server LLM distribution, and experiments show that they significantly improve token generation speed while maintaining generation quality comparable to that of the server LLM.
- Abstract（参考訳）: 本稿では、デバイス上の小言語モデル(SLM)が候補トークンをドラフトし、サーバが検証する分散大言語モデル(LLM)推論フレームワークである協調投機復号(CoSD)について検討する。
既存のCoSD方式では、ユーザデバイスとエッジサーバ間でトークン分散の交換を必要とするため、SLMとLLMの共通語彙を仮定し、かなりの通信負荷を発生させる。
これらの制約に対処するため、異種SLM-LLM語彙に対する損失のない通信効率の高いCOSDフレームワークであるクロスボキャブラリ(X-CoSD)を提案する。
X-CoSDはハイブリッドリサンプリング(HR)上に構築されており、デバイス上の共通語彙領域とサーバ上のLLM専用領域に分割することで、共通語彙領域のみに分散伝送が要求される。
さらに、X-CoSD-Eを提案する。X-CoSD-Eは、デバイス検証(SR-DV)によるサーバ再サンプリングに基づく拡張版であり、サーバは、サーバLLMからサンプリングされた置換候補と、そのデバイスにおけるローカル検証の確率のみを送信する。
我々は,X-CoSDとX-CoSD-Eの両方がサーバLLM分布を維持していることを証明し,サーバLLMに匹敵する生成品質を維持しつつ,トークン生成速度を著しく向上させる実験を行った。
関連論文リスト
- EMMI: Edge Multi-Modal Intelligence for Communication-Efficient MLLM Inference via Fused Representation Compression [0.9131273927745728]
近年のMLLM(Large Language mod-els)の進歩は、エッジインテリジェンスに新たな機会をもたらしている。
リソース制約のあるエッジプラットフォームにこれらの機能をデプロイすることは、現代のMLLMの計算、メモリ、通信要求が大きいため、依然として困難である。
本稿では,エッジデバイスとサーバリソース間のコンパクトな表現を伝達するエッジマルチモーダルインテリジェンス(EMMI)を提案する。
論文 参考訳（メタデータ） (2026-09-10T04:04:25Z) - Synchronized Logit Steering: Real-world Steganography [0.0]
同期ログステアリング(SLS)について紹介する。
SLSは、プロキシプロンプト分布の高エントロピー領域内のトークンランクとしてペイロード値を符号化する。
本手法を周期的に拡張し,ペイロードバーストを拡大して情報密度を拡大する。
論文 参考訳（メタデータ） (2026-08-09T22:49:45Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳（メタデータ） (2026-06-07T07:15:34Z) - A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems [20.267719677908683]
Co-PLMsは、大規模および小規模言語モデルの協調トレーニングのための新しいフレームワークである。
構造に依存しない相互学習のプロセスを統合し、異種言語モデル間の知識交換を実現する。
その結果、Co-PLMsは最先端の手法より優れており、Roge-Lでは平均5.38%、EMでは4.88%の上昇を達成している。
論文 参考訳（メタデータ） (2025-11-12T01:16:17Z) - Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳（メタデータ） (2025-06-30T02:56:11Z) - Communication-Efficient Hybrid Language Model via Uncertainty-Aware Opportunistic and Compressed Transmission [65.17811759381978]
ハイブリッド言語モデル(HLM)は、遠隔大言語モデル(LLM)によって検証され、修正されるドラフトトークンを生成する。
通信効率と不確実性を考慮したHLM(CU-HLM)を提案する。
CU-HLMは、74.8%のトランスミッションを97.4%の語彙圧縮でスキップし、97.4%の精度を維持しながら、最大206$times$高いトークンスループットを達成することを示す。
論文 参考訳（メタデータ） (2025-05-17T02:10:34Z) - Distributed Mixture-of-Agents for Edge Inference with Large Language Models [31.285983939625098]
大規模言語モデル(LLM)の性能向上手法として,Mixture-of-Agents (MoA) が最近提案されている。
このようなMoAアーキテクチャを,LLMが個々のエッジデバイスで動作する分散環境で検討する。
実験を通じて、分散MoAの実装にオープンソースのLLMを活用し、特定のMoA構成が他と比較して高品質な応答を生成することを示す。
論文 参考訳（メタデータ） (2024-12-30T18:59:06Z) - Uncertainty-Aware Hybrid Inference with On-Device Small and Remote Large Language Models [49.48313161005423]
ハイブリッド言語モデル(HLM)アーキテクチャは、モバイル端末で動作する小さな言語モデル(SLM)と、無線ネットワークの基地局(BS)にホストされる大きな言語モデル(LLM)を統合する。
HLMトークン生成プロセスは、投機的推論の原則に従っている: SLMの語彙分布はLSMにアップロードされ、LPMによって再サンプリングされる。
本研究では,不確実性を考慮したHLM (Uncertainty-aware opportunistic HLM) という新しいHLM構造を提案する。
論文 参考訳（メタデータ） (2024-12-17T09:08:18Z) - WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。
本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-11-11T02:48:00Z) - Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。
GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。
本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-05-21T11:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。