論文の概要: Towards Green Text Generation: Memory-Based Speculative Decoding
- arxiv url: http://arxiv.org/abs/2611.16714v1
- Date: Thu, 12 Nov 2026 12:32:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.466371
- Title: Towards Green Text Generation: Memory-Based Speculative Decoding
- Title(参考訳): グリーンテキスト生成に向けて:メモリベースの投機的デコード
- Abstract要約: 投機的復号化は、安価なドラフトモデルを1つのフォワードパスで大きな検証者がチェックするトークンを提案することによって、大きな言語モデルによるテキスト生成を加速させる。
我々はメモリベースの分類器上に構築されたドラフトモデルであるOllifantを紹介した。CPU上で0.3ms以下の4つのウィンドウから次のトークンを予測し、GPUを必要とせず、バックプロパゲーションもアクセルメモリも必要としない。
KVキャッシュがなければ、起草はほとんど自由である:ドメインマッチングされたオリファントモデルは、EUの法文で38.1%の受け入れに達し、2.43倍のスループットと2.51倍の低エネルギーを提供する。
- 参考スコア(独自算出の注目度): 0.5414847001704249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding accelerates text generation with large language models by letting a cheap draft model propose tokens that a large verifier checks in a single forward pass. We introduce Olifant, a draft model built on a memory-based classifier. It predicts the next token from a four-token window in under 0.3 ms on CPU, requiring no GPU, no backpropagation, and no accelerator memory. We measure throughput and energy under two verifier regimes on consumer hardware. Without a KV cache, drafting is nearly free: a domain-matched Olifant model reaches 38.1% acceptance on EU legal text, delivering 2.43x throughput and 2.51x lower energy per token than the neural verifier model alone. With a KV-cached verifier, itself a ~10x energy saver, drafting costs matter: a TinyLlama draft model halves throughput and triples energy despite high acceptance, whereas Olifant still yields 1.25x throughput and the lowest energy in the study (93 J per 100 tokens, 14x below the uncached baseline). We further show that KV caching decouples time from energy: verification of longer drafts raises power draw, shifting the energy-optimal draft length below the speed-optimal one. Speculative decoding is not dead in the age of fast verifiers, provided drafting is nearly free.
- Abstract(参考訳): 投機的復号化は、安価なドラフトモデルを1つのフォワードパスで大きな検証者がチェックするトークンを提案することによって、大きな言語モデルによるテキスト生成を加速させる。
メモリベースの分類器上に構築されたドラフトモデルであるOllifantを紹介する。
CPU上で0.3ms以下の4つのウィンドウから次のトークンを予測し、GPUを必要とせず、バックプロパゲーションもアクセルメモリも必要としない。
消費者ハードウェア上での2つの検証条件の下でスループットとエネルギーを測定する。
ドメインマッチングされたオリファントモデルは、EUの法文で38.1%の受け入れに達し、2.43倍のスループットと2.51倍の低エネルギーを提供する。
TinyLlamaのドラフトモデルでは、高い受け入れにもかかわらずスループットを保ち、エネルギーを3倍にする一方、オリファントは依然として1.25倍のスループットと最低のエネルギー(100トークン当たり93J、未キャッシュベースラインより14倍低い)を出力する。
さらに、KVキャッシングはエネルギーから時間を切り離すことを示す: 長いドラフトの検証はパワードローを高め、エネルギー-最適ドラフトの長さを速度-最適ドラフト以下にシフトする。
投機的復号化は高速検証の時代には行われない。
関連論文リスト
- Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets [1.5300894925571227]
投機的復号化: ドラフトラはいくつかの将来のトークンを提案し、ターゲットモデルはそれらを単一のフォワードパスで検証する。
全ての起草されたトークンは、それが受け入れられているかどうかを検証する必要があるので、エネルギーの投機は、どれだけの起草されたトークンが受け入れられているかに依存する。
評価するドラフトアはコードよりも会話のトークンが少なく、訓練されたドラフトアは、低リソースの言語であるRomanshを英語よりも受け入れます。
論文 参考訳(メタデータ) (2026-10-29T15:37:45Z) - DLoop: Looped Speculative Decoding [57.84976863792784]
投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。
検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。
提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
論文 参考訳(メタデータ) (2026-10-06T02:55:25Z) - SEED: Self-Speculative Decoding via Implicit Encoder-Decoder [22.692076054730933]
自己投機的復号化は、ターゲットモデル自体からトークンを起草することで、大言語モデル(LLM)推論を加速させる。
初期出力メソッドは中間層で終了することで、ドラフトを安価に生成するが、後続のレイヤが提供するより深い表現を放棄して、ドラフトの品質を損なう。
我々は,検証中にすでに計算された深部文脈表現を再利用して,高品質なドラフトを安価に取得する自己投機的エンコーダデコーダ(SEED)を提案する。
論文 参考訳(メタデータ) (2026-09-29T03:06:13Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳(メタデータ) (2025-09-19T04:51:41Z) - Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。
11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文 参考訳(メタデータ) (2025-02-02T13:10:06Z) - FastDraft: How to Train Your Draft [1.187801290987671]
我々はFastDraftを紹介します。FastDraftは、ドラフトモデルを任意の大きな言語モデルに事前トレーニングし、調整するための、新しく効率的なアプローチです。
我々は、人気のあるPhi-3-miniとLlama-3.1-8Bモデルの2つの高パラメータ効率ドラフトをトレーニングすることで、FastDraftを実証する。
FastDraftを使って、Intel$circledR$Gaudi$circledR$2アクセラレータを1つのサーバに約100億のトークンを持つドラフトモデルを24時間以内に作成することができました。
論文 参考訳(メタデータ) (2024-11-17T12:32:44Z) - Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。
我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。
ウロボロは投機的復号化で最大2.8倍、バニラ復号化で3.9倍のスピードアップを達成できる。
論文 参考訳(メタデータ) (2024-02-21T11:31:28Z) - H$_2$O: Heavy-Hitter Oracle for Efficient Generative Inference of Large
Language Models [110.06476624089679]
メモリフットプリントを大幅に削減する新しいKVキャッシュの実装手法を提案する。
我々のアプローチは、トークンのごく一部が、注意点の計算において、ほとんどの価値に寄与する、という観察に基づいている。
我々は,最近のトークンとH$のバランスを動的に保持するKVキャッシュ消去ポリシーであるヘビーヒッター(H$O)を提案する。
論文 参考訳(メタデータ) (2023-06-24T20:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。