論文の概要: Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding

• arxiv url: http://arxiv.org/abs/2505.18629v1
• Date: Sat, 24 May 2025 10:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.553418
• Title: Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding
• Title（参考訳）: より高速な投機的デコーディングのためのセマンティック・リフレクティブ・検証
• Authors: Yixuan Wang, Yijun Liu, Shiyu ji, Yuzhuang Xu, Yang Xu, Qingfu Zhu, Wanxiang Che,
• Abstract要約: 投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
• 参考スコア（独自算出の注目度）: 48.52389201779425
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) suffer from high inference latency due to the auto-regressive decoding process. Speculative decoding accelerates inference by generating multiple draft tokens using a lightweight model and verifying them in parallel. However, existing verification methods rely heavily on distributional consistency while overlooking semantic correctness, thereby limiting the potential speedup of speculative decoding. While some methods employ additional models for relaxed verification of draft tokens, they often fail to generalize effectively to more diverse or open-domain settings. In this work, we propose Reflective Verification, a training-free and semantics-aware approach that achieves a better trade-off between correctness and efficiency. Specifically, we leverage the inherent reflective capacity of LLMs to semantically assess the correctness of draft tokens in parallel during verification. Using prompt-based probing, we obtain both the original and reflective distributions of draft tokens in a single forward pass. The fusion of these distributions enables semantic-level verification of draft tokens that incorporates both consistency and correctness. Experiments across multiple domain benchmarks and model scales demonstrate that our method significantly increases the acceptance length of draft tokens without compromising model performance. Furthermore, we find that the proposed Reflective Verification is orthogonal to existing statistical verification methods, and their combination yields additional 5$\sim$15\% improvements in decoding speed.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自動回帰復号処理によって高い推論遅延に悩まされる。 投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 しかし、既存の検証手法は意味的正確性を見越しながら分布の整合性に大きく依存しているため、投機的復号化の潜在的なスピードアップが制限される。 一部のメソッドでは、ドラフトトークンの緩和検証のために追加のモデルを採用しているが、より多様なドメインやオープンドメインの設定に効果的に一般化できない場合が多い。 本研究では,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。 具体的には, LLMの固有反射能力を利用して, 検証中にパラレルなトークンの正しさを意味的に評価する。 プロンプトベースの探索を用いて,1つの前方通過におけるドラフトトークンのオリジナル分布と反射分布の両方を求める。 これらの分布の融合により、一貫性と正確性の両方を組み込んだドラフトトークンのセマンティックレベルの検証が可能になる。 複数のドメインベンチマークとモデルスケールにわたる実験により,提案手法はモデル性能を損なうことなく,ドラフトトークンの受け入れ期間を大幅に向上することが示された。 さらに,提案手法は既存の統計的検証手法と直交しており,その組み合わせにより復号速度が5$\sim$15\%向上することがわかった。

関連論文リスト

• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [50.9948753314669]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Traversal Verification for Speculative Tree Decoding [9.534492618180085]
  投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。 本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。 提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-18T12:51:55Z)
• Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
  投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。 本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。 提案手法は予測精度を大幅に向上し,推論高速化を実現する。
  論文  参考訳（メタデータ） (2025-02-10T09:24:06Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Block Verification Accelerates Speculative Decoding [23.764655044837113]
  投機的復号法は高速モデルを用いて、ターゲットモデルによって並列に検証されるトークンのブロックをドラフトする。 以前の作業では、ドラフト検証は独立してトークン・バイ・トークンで行われる。 ブロック全体を共同で検証する単純なドラフト検証アルゴリズムであるBlock Verificationを提案する。
  論文  参考訳（メタデータ） (2024-03-15T16:28:22Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。