論文の概要: Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding

• arxiv url: http://arxiv.org/abs/2505.18629v1
• Date: Sat, 24 May 2025 10:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.553418
• Title: Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding
• Title（参考訳）: より高速な投機的デコーディングのためのセマンティック・リフレクティブ・検証
• Authors: Yixuan Wang, Yijun Liu, Shiyu ji, Yuzhuang Xu, Yang Xu, Qingfu Zhu, Wanxiang Che,
• Abstract要約: 投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
• 参考スコア（独自算出の注目度）: 48.52389201779425
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) suffer from high inference latency due to the auto-regressive decoding process. Speculative decoding accelerates inference by generating multiple draft tokens using a lightweight model and verifying them in parallel. However, existing verification methods rely heavily on distributional consistency while overlooking semantic correctness, thereby limiting the potential speedup of speculative decoding. While some methods employ additional models for relaxed verification of draft tokens, they often fail to generalize effectively to more diverse or open-domain settings. In this work, we propose Reflective Verification, a training-free and semantics-aware approach that achieves a better trade-off between correctness and efficiency. Specifically, we leverage the inherent reflective capacity of LLMs to semantically assess the correctness of draft tokens in parallel during verification. Using prompt-based probing, we obtain both the original and reflective distributions of draft tokens in a single forward pass. The fusion of these distributions enables semantic-level verification of draft tokens that incorporates both consistency and correctness. Experiments across multiple domain benchmarks and model scales demonstrate that our method significantly increases the acceptance length of draft tokens without compromising model performance. Furthermore, we find that the proposed Reflective Verification is orthogonal to existing statistical verification methods, and their combination yields additional 5$\sim$15\% improvements in decoding speed.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自動回帰復号処理によって高い推論遅延に悩まされる。 投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 しかし、既存の検証手法は意味的正確性を見越しながら分布の整合性に大きく依存しているため、投機的復号化の潜在的なスピードアップが制限される。 一部のメソッドでは、ドラフトトークンの緩和検証のために追加のモデルを採用しているが、より多様なドメインやオープンドメインの設定に効果的に一般化できない場合が多い。 本研究では,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。 具体的には, LLMの固有反射能力を利用して, 検証中にパラレルなトークンの正しさを意味的に評価する。 プロンプトベースの探索を用いて,1つの前方通過におけるドラフトトークンのオリジナル分布と反射分布の両方を求める。 これらの分布の融合により、一貫性と正確性の両方を組み込んだドラフトトークンのセマンティックレベルの検証が可能になる。 複数のドメインベンチマークとモデルスケールにわたる実験により,提案手法はモデル性能を損なうことなく,ドラフトトークンの受け入れ期間を大幅に向上することが示された。 さらに,提案手法は既存の統計的検証手法と直交しており,その組み合わせにより復号速度が5$\sim$15\%向上することがわかった。

関連論文リスト

• Traversal Verification for Speculative Tree Decoding [9.534492618180085]
  投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。 本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。 提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-18T12:51:55Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Block Verification Accelerates Speculative Decoding [23.764655044837113]
  投機的復号法は高速モデルを用いて、ターゲットモデルによって並列に検証されるトークンのブロックをドラフトする。 以前の作業では、ドラフト検証は独立してトークン・バイ・トークンで行われる。 ブロック全体を共同で検証する単純なドラフト検証アルゴリズムであるBlock Verificationを提案する。
  論文  参考訳（メタデータ） (2024-03-15T16:28:22Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。