論文の概要: HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding
- arxiv url: http://arxiv.org/abs/2610.21436v1
- Date: Thu, 15 Oct 2026 07:45:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.257484
- Title: HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding
- Title（参考訳）: HyCo: コスト効率の良いモバイルクラウド投機デコードのためのハイブリッドドラフト
- Abstract要約: デバイスクラウドの投機的復号化はサーバの計算を減少させるが、小さな言語モデル(SLM)で深いドラフトツリーを成長させるには、モバイルニューラル処理ユニット(NPU)上で繰り返しパスする必要がある。
本稿では,サーバモデルのマルチトークン予測(MTP)ヘッドに深度を割り当て,デバイス上で実行するHyCoと,SLMパスの代替ブランチを提案する。
同じ受け入れルールで、システムごとに3つのSpec-Benchが実行され、SLMのみのドラフト機よりも9.0パーセントの節約率と1.9倍の納入速度を示している。
- 参考スコア（独自算出の注目度）: 16.671140391153298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Device-cloud speculative decoding reduces server computation, but growing a deep draft tree with a small language model (SLM) requires repeated passes on a mobile neural processing unit (NPU). We present HyCo, which assigns depth to the server model's native multi-token prediction (MTP) head, executed on the device, and alternative branches to one SLM pass. The server returns the hidden state, input embedding, and key-value entries needed by the head instead of executing its sequential steps. Quantization, a restricted vocabulary, and a 1K-token window fit both drafters to the NPU. An ε-threshold rule additionally relaxes exact preservation of the verifier's sampling distribution. In single-client runs with a Galaxy S26 Ultra over LTE/5G, HyCo reduces server GPU time per output token relative to server-side MTP self-speculation by 38.6% on Spec-Bench and 29.2% on 32K-token summarization. With the same acceptance rule, three Spec-Bench runs per system show 9.0 percentage points more saving and 1.9x delivery speed than an SLM-only drafter. HyCo differs from Cloud+MTP by +0.2 judge-score points (paired 95% CI: -0.9 to +1.3); exploratory translation favors SpecEdge-ε. Without relaxation, HyCo exact saves 27.7% and 11.9% on the two datasets.
- Abstract（参考訳）: デバイスクラウドの投機的復号化はサーバの計算を減少させるが、小さな言語モデル(SLM)で深いドラフトツリーを成長させるには、モバイルニューラル処理ユニット(NPU)で繰り返しパスする必要がある。
本稿では,サーバモデルのマルチトークン予測(MTP)ヘッドに深度を割り当て,デバイス上で実行するHyCoと,SLMパスの代替ブランチを提案する。
サーバはシーケンシャルステップを実行する代わりに、隠れた状態、入力の埋め込み、およびヘッドに必要なキー-値エントリを返す。
量子化、制限された語彙、および1Kトーケンウィンドウは、両方のドラフトラをNPUに適合させる。
ε閾値規則は、検証者のサンプリング分布の正確な保存を緩和する。
LTE/5G上でGalaxy S26 Ultraでシングルクライアントで動作する場合、HyCoはサーバ側のMPP自己定義に対する出力トークン当たりのGPU時間をSpec-Benchで38.6%、32Kトーケンの要約で29.2%削減する。
同じ受け入れルールで、システムごとに3つのSpec-Benchが実行され、SLMのみのドラフト機よりも9.0パーセントの節約率と1.9倍の納入速度を示している。
HyCoはクラウド+MTPと+0.2の判定スコアポイント(95% CI:-0.9 to +1.3)で異なり、探索的な翻訳はSpecEdge-εを好む。
緩和なしでは、HyCoは2つのデータセットで27.7%と11.9%を正確に節約する。
関連論文リスト
- Decode-Latency Feedback Prefill: A Model-Free Controller and Its Generalization Limits [1.7396274240172123]
Decode-Latency Feedback Prefill (DLFP)を導入する。
我々は、DLFPをvLLMに実装し、オープンループのPoisson到着、正確なトークン会計、生要求トレース、NVIDIAテレメトリで評価する。
論文 参考訳（メタデータ） (2026-09-29T18:44:33Z) - GenomeOcean Anywhere: Private WebGPU Inference for Genome MoEs [4.564848621539382]
我々は、信頼されたコーディネータが注意を払ってルーティングを行うシステムを構築し、ブラウザワーカーはすべての専門家フィードフォワードネットワークを実行する。
プローブは、各深さで1つのベクトルからトークンを回収し、1人の作業員は、300個の未順序トークンから92%の精度でソースゲノムを識別できる。
Chromeでは、コード化されたデコーディングはトークンあたり220～376msで実行され、ルーティングのどれだけが隠されているかによって異なり、ワーカーが失敗してもレプリカなしで継続する。
論文 参考訳（メタデータ） (2026-09-27T00:21:26Z) - TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving [7.926191097327915]
コーディングエージェントは、最も多くを支払う:セッションは、小さな追加の後、繰り返し長い書き起こしを提出する。
TokTierは、この2モードのワークロードのためのステートフルなCPU+GPUトークンサービスである。
論文 参考訳（メタデータ） (2026-07-31T17:56:30Z) - Adaptive AI: Energy Efficient Multi-exit TinyML on Intelligent Vision Systems at the Edge [46.72621664884568]
エッジデバイス向けの従来のTinyMLシステムは、一定数の乗算累積(MAC)演算を必要とする固定深度モデルに依存することにより、高い精度を達成する。
このアプローチは、バッテリ駆動のIoT(Internet-of-Things)デバイスにおいて重要なリソースを無駄にし、エッジサイバー物理システムのリアルタイムパフォーマンスを制限する。
我々は、ImageNet-100分類タスクのためのMobileNetV2畳み込みニューラルネットワーク(CNN)上で、新しいマルチエクイット計算方式を導入する。
論文 参考訳（メタデータ） (2026-07-07T08:48:19Z) - Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks [75.92297551160692]
OpenClawのような汎用エージェントは、自律的なツールユーザとしてますます利用されている。
マルチリンガルなSWEベンチマークおよびアダプタプロトコルであるClaw-SWE-Benchを紹介する。
Claw-SWE-Benchは、SWEスタイルの符号化エージェント評価の第一級軸として、ハーネスとコスト会計を扱う。
論文 参考訳（メタデータ） (2026-06-10T17:16:23Z) - quantum-safe: Bridging the Post-Quantum Production Gap with a Hybrid-by-Default Python Cryptography Library [0.0]
量子セーフ(quantum-safe)は、量子後暗号における3つの重要なギャップを全て埋めるPythonである。
9つのPQCライブラリを8つの生産レベルディメンションでスコア付けします。
完全なX25519 + ML-KEM-768ハンドシェイクはDocker/Linuxで243秒で完了する。
論文 参考訳（メタデータ） (2026-05-16T16:05:11Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - Fast-iTPN: Integrally Pre-Trained Transformer Pyramid Network with Token
Migration [138.24994198567794]
ITPNは2つの精巧な設計で生まれ、1)視覚変換器を用いた最初の事前訓練型特徴ピラミッド(ViT)である。
Fast-iTPNは推論手順を最大70%高速化でき、性能損失は無視できる。
論文 参考訳（メタデータ） (2022-11-23T06:56:12Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。