Fugu-MT 論文翻訳(概要): GPU-Resident Speculative Decoding for In-Browser LLM Inference with WebGPU

論文の概要: GPU-Resident Speculative Decoding for In-Browser LLM Inference with WebGPU

arxiv url: http://arxiv.org/abs/2610.39761v1
Date: Thu, 29 Oct 2026 10:14:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-02 22:44:22.890972
Title: GPU-Resident Speculative Decoding for In-Browser LLM Inference with WebGPU
Title（参考訳）: WebGPUを用いたブラウザ内LPM推論のためのGPU-Resident Speculative Decoding
Abstract要約: ブラウザ固有のコストに対処するWebGPUランタイムを提案する。 GPU-Residentループは、ドラフト、検証、受け入れ、KV-cacheのメンテナンスを行う。私たちのランタイムは、ラップトップGPUのWebLLMよりも3.5～5.4$times$、統合GPUの4.8～6.2$times$、ワークステーションGPUの4.8～8.6$times$をデコードします。
参考スコア（独自算出の注目度）: 8.816263873573751
License: http://creativecommons.org/licenses/by/4.0/
Abstract: WebGPU enables private, offline LLM inference inside web pages, but browser dispatch, inter-process communication, synchronous readback and single-token kernels slow decoding and make conventional speculative decoding inefficient. We present a WebGPU runtime that addresses these browser-specific costs. Deterministic small-batch integer kernels accelerate multi-token verification while preserving exact agreement with greedy decoding in the same quantized runtime. A GPU-resident loop performs drafting, verification, acceptance and KV-cache maintenance without a per-token CPU decision. A draft-free context-mixing drafter reuses page content, conversation history and session memory, while a device-aware controller adapts the speculation width and the submission window to measured costs. Across seven models from 0.5B to 8B parameters, 11 tasks and three client GPUs, our runtime decodes 3.5 to 5.4$\times$ faster than WebLLM on a laptop GPU, 4.8 to 6.2$\times$ faster on an integrated GPU and 4.8 to 8.6$\times$ faster on a workstation GPU. The GPU-resident loop and speculation contribute a further 1.8 to 3.2$\times$ over the optimized kernels on the workstation. Outputs match the quantized greedy decoding of the runtime exactly, and the mean GSM8K accuracy matches that of WebLLM. Optional draft heads raise the peak speedup to 10.2$\times$, while session memory provides additional gains without downloading extra weights.
Abstract（参考訳）: WebGPUは、Webページ内でプライベートでオフラインのLLM推論を可能にするが、ブラウザディスパッチ、プロセス間通信、同期読み込み、シングルトークンカーネルの復号化を遅くし、従来の投機的復号化を非効率にする。ブラウザ固有のコストに対処するWebGPUランタイムを提示する。決定論的な小バッチ整数カーネルは、同じ量子化ランタイムにおけるgreedyデコードとの正確な一致を保ちながら、マルチトークン検証を加速する。 GPU-Residentループは、ドラフト、検証、受け入れ、KV-cacheのメンテナンスを行う。ドラフトフリーのコンテキストミキシングドラフトラは、ページコンテンツ、会話履歴、セッションメモリを再利用し、デバイス対応コントローラは、投機幅と入力ウィンドウを測定コストに適応させる。 0.5Bから8Bパラメータ、11タスク、3つのクライアントGPUの7つのモデルで、私たちのランタイムは、ラップトップGPUのWebLLMよりも3.5から5.4$\times$、統合GPUの4.8から6.2$\times$、ワークステーションGPUの4.8から8.6$\times$を高速にデコードします。 GPU-Residentループと憶測により、ワークステーション上の最適化されたカーネルに対して1.8から3.2$\times$が提供される。出力は実行時の量子化グリーディ復号と正確に一致し、GSM8Kの平均精度はWebLLMと一致する。オプションのドラフトヘッドは最高速度を10.2$\times$に上げ、セッションメモリは追加の重みをダウンロードすることなく追加の利得を提供する。

関連論文リスト

DualPace: Decoupled Scheduling and Cooperative GPU--CPU Decoding for LLM Serving [1.8618812685775554]
大規模言語モデル(LLM)は推論に依存するが、キー値キャッシュはシーケンス長と制限とともに増大する。 CPU依存の要求は、スケジューラが適切な機会を公開する場合にのみ進行する。我々は、ホストを独立してスケジュールされたデコードエンジンに変えるLLMサービスであるDualPaceを紹介する。
論文参考訳（メタデータ） (2026-10-24T07:10:20Z)
98$\times$ Faster LLM Routing Without a Dedicated GPU: Flash Attention, Prompt Compression, and Near-Streaming for the vLLM Semantic Router [9.457255218406333]
本稿では,vLLMセマンティックルータの3つの段階最適化について述べる。 ROCm上のONNX用のカスタムFlashアテンション演算子は、注目メモリを$O(n2)$から$O(n)$に還元する。適応的チャンキングによるニアストリームボディ処理はシリアライズオーバーヘッドをなくす。
論文参考訳（メタデータ） (2026-03-13T04:33:53Z)
GPUTOK: GPU Accelerated Byte Level BPE Tokenization [0.0]
GPT-2のマージルールに従うGPUベースのバイトレベルのBPEトークンライザを構築した。基本的なBlockBPEスタイルのカーネルと、cuCollectionsの静的マップを使ったより高速で最適化されたバージョン、CUBの削減、Python用のpybind11インターフェースが含まれている。 WikiText103の最大131kのトークンでは、最適化されたトークン化器は同じ最長の入力を生成し、Tiktokenより約1.7倍、HuggingFace GPT-2トークン化器より約7.6倍高速である。
論文参考訳（メタデータ） (2026-03-03T04:48:28Z)
Characterizing WebGPU Dispatch Overhead for LLM Inference Across Four GPU Vendors, Three Backends, and Three Browsers [0.0]
WebGPUのセキュリティを重視した設計では、ニューラルネットワーク推論において、多数の小さなディスパッチにまたがる化合物の操作毎の検証が義務付けられている。バッチサイズ1のLLM推論のためのWebGPUディスパッチオーバーヘッドを,4つのベンダ(NVIDIA,AMD,Apple,Intel)と2つのネイティブ実装(Dawn,wgpu-native)と3つのブラウザ(Chrome,Safari,Firefox)にまたがるシステマティックな評価を行った。私たちの主なコントリビューションはシーケンシャルなディスパッチ手法です。
論文参考訳（メタデータ） (2026-02-09T20:14:42Z)
Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving [1.4573878379102423]
Revatiはリアルタイムシステムコードをシミュレーションライクな速度で直接実行することで、パフォーマンスモデリングを可能にするタイムワープエミュレータである。 Revatiは、実際のGPU実行よりも5～17倍高速で実行しながら、複数のモデルと構成で5%未満の予測エラーを達成する。
論文参考訳（メタデータ） (2026-01-01T17:19:58Z)
Minute-Long Videos with Dual Parallelisms [57.22737565366549]
Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
論文参考訳（メタデータ） (2025-05-27T11:55:22Z)
QuickVideo: Real-Time Long Video Understanding with System Algorithm Co-Design [54.38970077613728]
ビデオ監視、会議要約、教育講義分析、スポーツ放送といった現実の応用において、ロングビデオ理解が重要な機能として現れてきた。我々は,リアルタイムダウンストリームアプリケーションをサポートするために,長時間ビデオ理解を大幅に高速化するシステムアルゴリズムの共同設計であるQuickVideoを提案する。
論文参考訳（メタデータ） (2025-05-22T03:26:50Z)
vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文参考訳（メタデータ） (2024-07-22T14:37:58Z)
Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文参考訳（メタデータ） (2024-05-28T22:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。