Fugu-MT 論文翻訳(概要): Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets

論文の概要: Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets

arxiv url: http://arxiv.org/abs/2610.40287v1
Date: Thu, 29 Oct 2026 15:37:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-31 05:25:12.528768
Title: Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets
Title（参考訳）: 許容トークン数のみ:遅延ターゲット下での投機的デコーディングのエネルギー会計
Abstract要約: 投機的復号化: ドラフトラはいくつかの将来のトークンを提案し、ターゲットモデルはそれらを単一のフォワードパスで検証する。全ての起草されたトークンは、それが受け入れられているかどうかを検証する必要があるので、エネルギーの投機は、どれだけの起草されたトークンが受け入れられているかに依存する。評価するドラフトアはコードよりも会話のトークンが少なく、訓練されたドラフトアは、低リソースの言語であるRomanshを英語よりも受け入れます。
参考スコア（独自算出の注目度）: 1.5300894925571227
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language model serving is limited by facility power. Energy per token determines how many tokens a datacenter can serve, while a latency target bounds how quickly each user receives them. During decode, every weight is read from memory for every generated token. Batching amortizes this read across users but makes no individual user faster. Speculative decoding does: a drafter proposes several future tokens, and the target model verifies them in a single forward pass that reuses the same weight read. Because every drafted token must be verified whether or not it is accepted, the energy speculation saves depends on how many drafted tokens are accepted. This saving is hard to pin down. It varies across target models from different attention families and across drafting schemes, and it depends on the text being served. Every drafter we evaluate accepts fewer tokens on conversation than on code, and every trained drafter accepts fewer on Romansh, a low-resource language, than on English. We measure speculative decoding under production serving conditions (SGLang, CUDA graphs enabled) on H100 and H200 GPUs, at batch sizes up to 64 across 5 corpora. On dense models, verification, not drafting, dominates the energy cost. The saving shrinks as the batch grows, because batching has already shared the weight read that speculation would divide among the accepted tokens. At large batch sizes, block drafters push verification past the balance point between arithmetic and memory traffic into the compute-bound regime, where the saving becomes a loss, and a drafter with low acceptance raises energy per token. Meeting a tighter latency target with speculation then costs additional energy. Larger batches lower energy per token without speculation. Speculation adds to that saving only when acceptance is high, and on the model we tested it leaves little headroom for latency-preserving DVFS.
Abstract（参考訳）: 大規模言語モデルは施設の能力によって制限される。トークン毎のエネルギは、データセンタが提供可能なトークン数を決定し、レイテンシターゲットは、各ユーザの受信速度をバウンドする。デコード中、全ての重みは生成されたトークンごとにメモリから読み取られます。 Batchingは、これをユーザ間で読み取るが、個々のユーザを高速化しない。投機的復号化: ドラフトラはいくつかの将来のトークンを提案し、ターゲットモデルはそれらを単一のフォワードパスで検証し、同じウェイトリードを再利用する。全ての起草されたトークンは、それが受け入れられているかどうかを検証する必要があるので、エネルギーの投機は、どれだけの起草されたトークンが受け入れられているかに依存する。この貯蓄はピン留めが難しい。異なる注意家族のターゲットモデルやドラフトスキームによって異なり、提供されるテキストによって異なります。評価するドラフトアはコードよりも会話のトークンが少なく、訓練されたドラフトアは、低リソースの言語であるRomanshでは、英語よりも少ない。我々は,H100およびH200 GPU上で実運用環境下での投機的復号化(SGLang,CUDAグラフを有効に)を,5コーパスで最大64個のバッチサイズで測定する。密度の高いモデルでは、ドラフトではなく検証がエネルギーコストを支配している。バッチが大きくなるにつれて、節約は縮小する。なぜなら、バッチリングはすでに、承認されたトークンに分割されるという憶測の重みを共有しているからだ。大規模なバッチサイズでは、ブロックのドラフトラが演算とメモリトラフィックのバランスポイントを越えて、セーブが損失となる計算バウンドレジームにプッシュし、低い受け入れを持つドラフトラがトークン当たりのエネルギを上昇させる。より厳密な遅延ターゲットを憶測で満たすと、追加のエネルギーがかかる。より大きなバッチは、投機なしでトークン当たりのエネルギーを小さくする。モデルでテストしたところ、レイテンシを保ったDVFS用のヘッドルームはほとんど残っていないのです。

論文の概要: Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets

関連論文リスト