論文の概要: ProVe: Proposer-Verifier Decoding

• arxiv url: http://arxiv.org/abs/2610.27815v1
• Date: Tue, 20 Oct 2026 08:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.713644
• Title: ProVe: Proposer-Verifier Decoding
• Title（参考訳）: ProVe: Proposer-Verifierデコード
• Abstract要約: 投機的復号化は、小さなモデルのドラフトトークンをシリアルに、大きなモデルはそれらを並列に検証することで、自己回帰(AR)言語モデルを加速させる。 我々は、大きなモデルを1つのフォワードパスで将来のトークンのブロックを予測するプロジェクタに微調整し、さらに1つのフォワードパスを使用して、提案されたブロックを検証する。 小型の3B検証器で、ProVeは平均スループットを2.7倍、ARより2.6精度で6タスク平均で達成する。
• 参考スコア（独自算出の注目度）: 48.63316026011871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates autoregressive (AR) language models by letting a small model draft tokens serially and a large model verify them in parallel. We reverse these roles. Starting from a standard AR checkpoint, we fine-tune the large model into a proposer that predicts a block of future tokens in a single forward pass, then use one additional forward pass to verify the proposed block. This gives ProVe, Proposer-Verifier decoding. The verifier can be a smaller AR model or the proposer itself; the latter gives ProVe-lossless, which reproduces the proposer's greedy AR decoding. Block proposals already provide substantial room for acceleration: with a block size of 16, the proposed block has an average AR-matching prefix of 6.6 tokens on GSM8K. Across six benchmarks with a 32B proposer, ProVe-lossless reaches 2.5x average AR throughput without training a separate draft head. With a small 3B verifier, ProVe reaches 2.7x average throughput at 2.6 accuracy points below AR on the six-task average, providing a controllable tradeoff between speed and accuracy.
• Abstract（参考訳）: 投機的復号化は、小さなモデルのドラフトトークンをシリアルに、大きなモデルはそれらを並列に検証することで、自己回帰(AR)言語モデルを加速させる。 これらの役割を逆転させる。 標準のARチェックポイントから、大きなモデルを1つのフォワードパスで将来のトークンのブロックを予測するプロジェクタに微調整し、さらに1つのフォワードパスを使用して、提案されたブロックを検証する。 これはProVe、Proposer-Verifierデコードを与える。 検証者は、より小さなARモデルまたはプロジェクタ自身でもよい。後者はProVe-losslessを与え、プロジェクタのgreedy ARデコーディングを再現する。 ブロックは16のブロックサイズで、GSM8K上の平均6.6トークンのARマッチングプレフィックスを持つ。 32Bプロジェクタを使用した6つのベンチマークで、ProVe-losslessは、別のドラフトヘッドをトレーニングすることなく平均的なARスループットを2.5倍に向上した。 小型の3B検証器では、ProVeは6タスク平均でARの2.6倍の精度で平均スループット2.7倍に達し、速度と精度のトレードオフが制御可能である。

関連論文リスト

• DLoop: Looped Speculative Decoding [57.84976863792784]
  投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。 検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。 提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
  論文  参考訳（メタデータ） (2026-10-06T02:55:25Z)
• Accepted Prefixes Are Not All You Need: A Negative Result on PEFT-Based Block-Diffusion Drafting [0.0]
  投機的復号化は、低価格のドラフトラを使って、複数の将来のトークンと、それらを検証するためのターゲットモデルを提案する。 我々は,この方向に対する負の結果を,同バックボーン投機復号法PEFT-BDを用いて検討した。 提案手法は投機的復号化を成功させるためには単純だが重要な条件を分離する。
  論文  参考訳（メタデータ） (2026-07-14T06:48:33Z)
• Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge [93.37920675145553]
  拡散言語モデル (DLMs) は並列デコーディングによる大幅な速度優位性を提供する。 トークン依存関係の欠如は、自動回帰(AR)モデルと比較して生成品質を制限します。 最近の進歩は、DLMが提案、ARが目標として、重要サンプリングによってギャップを埋めようとしている。 本稿では,生成速度と精度を大幅に向上させる新しいデコードフレームワークPoE-Bridgeを紹介する。
  論文  参考訳（メタデータ） (2026-06-06T08:21:06Z)
• Faster LLM Inference via Sequential Monte Carlo [47.46537448240707]
  連続モンテカルロ投機復号法(SMC-SD)を導入する。 SMC-SDはトークンレベルの拒絶を、ドラフト粒子の集団に対する重み付け再サンプリングに置き換える。 投機的復号化よりも2.36倍のスピードアップ、自動回帰復号化より5.2倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-04-17T03:52:23Z)
• MARS: Enabling Autoregressive Models Multi-Token Generation [34.63470140050534]
  自動回帰(AR)言語モデルは、先行した文脈で連続したトークンが高度に予測可能な場合でも、一度に1つのトークンを生成する。 我々は,前方通過毎に複数のトークンを予測する命令調整ARモデルを,軽量な微調整法であるMARSを紹介した。
  論文  参考訳（メタデータ） (2026-04-08T12:41:37Z)
• PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length [21.738896310075678]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論過程を高速化する強力な手法である 軽量でトレーニング可能な事前検証レイヤを用いて,ドラフト長を動的に制御する新しいアプローチであるPacerを提案する。 以上の結果から,Pacerは自己回帰復号化よりも最大2.66倍の高速化を実現し,一貫した投機復号化を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-01T15:12:38Z)
• DEER: Draft with Diffusion, Verify with Autoregressive Models [33.19684425811274]
  投機的復号法は自己回帰復号法の本質的な遅延を緩和する。 効率的な投機的復号化フレームワークであるDEERを紹介する。 実験によると、DEERは最大32個のトークンのドラフト受け入れ長に達する。
  論文  参考訳（メタデータ） (2025-12-17T08:19:04Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Block Verification Accelerates Speculative Decoding [23.764655044837113]
  投機的復号法は高速モデルを用いて、ターゲットモデルによって並列に検証されるトークンのブロックをドラフトする。 以前の作業では、ドラフト検証は独立してトークン・バイ・トークンで行われる。 ブロック全体を共同で検証する単純なドラフト検証アルゴリズムであるBlock Verificationを提案する。
  論文  参考訳（メタデータ） (2024-03-15T16:28:22Z)
• Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
  投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。 我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。 ウロボロは投機的復号化で最大2.8倍、バニラ復号化で3.9倍のスピードアップを達成できる。
  論文  参考訳（メタデータ） (2024-02-21T11:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。