論文の概要: DScale: Scaling Block-Diffusion Speculative Decoding with Adaptive Verification
- arxiv url: http://arxiv.org/abs/2609.37532v1
- Date: Tue, 29 Sep 2026 13:17:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.539214
- Title: DScale: Scaling Block-Diffusion Speculative Decoding with Adaptive Verification
- Title（参考訳）: DScale: 適応検証によるブロック拡散投機デコーディングのスケーリング
- Abstract要約: ブロック拡散投機的復号法は、検証パディング、拒否された候補、可変接頭辞と固定形グラフの不整合に悩まされる。
私たちはDScaleを紹介し、ドラフトアアーキテクチャ、ウェイト、および完全なドラフトの長さを保存します。
- 参考スコア（独自算出の注目度）: 23.045325370450257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Growing large language model applications demand efficient inference. At high concurrency, block-diffusion speculative decoding suffers from verification padding, rejected candidates, and incompatibility between variable prefixes and fixed-shape graphs. Uniform truncation sacrifices acceptable tokens. We present DScale, preserving drafter architecture, weights, and full draft length. A separate 112K-parameter predictor requires neither confidence calibration nor hardware speed-curve preparation. Path-aware tiles reduce padding. Dynamic verify-length (DVL) allocation packs scored prefixes into half the native verification capacity. Fixed-address workspaces propagate changing boundaries through verification and acceptance while reusing captured graphs. On A100-40GB with tensor parallelism 1, Qwen3-8B and Qwen3-4B cover four datasets and concurrency 8-32, reusing each target's frozen predictor. Geometric-mean throughput gains across these configurations are respectively 43.9% and 48.8% over DFlash, 22.2% and 37.7% over DSpark, and 24.4% and 32.0% over Domino, with lower request latency. Cumulative ablations show that adding the three mechanisms successively increases geometric-mean throughput, while budget adjustment improves accepted-token retention. GPU profiling shows that complete decode-step time on GSM8K decreases by 30.8-52.5% relative to DFlash
- Abstract（参考訳）: 大規模言語モデルを成長させるには、効率的な推論が必要である。
高い並列性において、ブロック拡散投機的復号法は検証パディング、候補の拒否、変数プレフィックスと固定形グラフの不整合に悩まされる。
均一なトランケーションは許容できるトークンを犠牲にする。
私たちはDScaleを紹介し、ドラフトアアーキテクチャ、ウェイト、および完全なドラフトの長さを保存します。
別個の112Kパラメーター予測器は、信頼性校正やハードウェアの速度曲線作成を必要としない。
パス対応タイルはパディングを減らします。
動的検証長(DVL)アロケーションパックは、プレフィックスをネイティブの検証能力の半分にスコア付けした。
固定アドレスワークスペースは、取得したグラフを再利用しながら、検証と受け入れを通じて境界の変更を伝搬する。
テンソル並列性 1 の A100-40GB では、Qwen3-8B と Qwen3-4B が4つのデータセットと並列性 8-32 をカバーし、各ターゲットの凍結予測器を再利用している。
これらの構成の幾何学平均スループットは、それぞれ43.9%、48.8%がDFlash、22.2%が37.7%がDSpark、24.4%がDominoで、32.0%が要求待ち時間である。
累積アブリゲーションでは、3つのメカニズムの追加が幾何平均スループットを継続的に増加させ、予算調整は受け入れトークンの保持を改善する。
GPU プロファイリングによる GSM8K のデコード時間は DFlash と比較して 30.8-52.5% 減少する
関連論文リスト
- One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳（メタデータ） (2026-09-20T14:54:35Z) - LoopVAE: Recurrent Depth Across Scales for Visual Tokenization [3.805468327504537]
LoopVAEはスケールとループ条件のコアをスケール内で再利用する。
4ブロックコアはエンコーダまたはデコーダ毎に28ブロックアプリケーションを実行する。
同じ実行グラフを持つ非逆変換器アブレーションは、グローバルな共有の下で競合するPSNRとSSIMを見つける。
論文 参考訳（メタデータ） (2026-09-10T13:20:03Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - SpikeWorld: Fast-State Adaptation for Frozen Spiking World Models [0.0]
ヘテロジニアスな感覚予測,セマンティクス,画像テキストバインディング,動作条件付きダイナミクスを共同で訓練した1.45MスパーススパイキングモデルであるSpikeWorldを紹介する。
共同最適化により、アクション次世代MSEは17.10%改善され、マルチモーダル予測、セマンティック精度、画像テキスト検索が改善された。
論文 参考訳（メタデータ） (2026-08-07T18:57:06Z) - CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference [24.176666448303095]
拡散言語モデルは、多くのトークンを並列に更新するが、実用的なデコーダは、しばしば固定されたdenoising horizonを使用する。
本研究では,CORA-Diffを提案する。CORA-Diffは,元のトランスファールールを保護し,ルールが未解決な位置にのみ信頼とパーシステンスをゲーティングする訓練自由法である。
その結果,タスク品質を保ったままの繰り返し認知を低減し,信頼感と持続性が確実な残留受容を可能にすることが示唆された。
論文 参考訳（メタデータ） (2026-07-31T07:32:10Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning [1.4610038284393168]
エッジデバイス上でのフェデレーション学習は、IID以外のクライアントデータと厳しいメモリ予算に対処する必要がある。
分散を意識した8ビット量子化ブロックワイド線形符号化と分散のためのログ空間符号化を応用したtextbfQ-LocalAdam を提案する。
論文 参考訳（メタデータ） (2026-05-17T17:23:23Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。
圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
論文 参考訳（メタデータ） (2025-04-15T22:38:38Z) - Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳（メタデータ） (2024-10-22T17:59:30Z) - Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。
本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。
Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
論文 参考訳（メタデータ） (2024-05-24T13:37:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。