論文の概要: Mentored Decoding: Faster Inference meets Boosting
- arxiv url: http://arxiv.org/abs/2609.30474v1
- Date: Thu, 24 Sep 2026 19:12:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.114699
- Title: Mentored Decoding: Faster Inference meets Boosting
- Title（参考訳）: Mentored Decoding: より高速な推論がブーイングと出会う
- Abstract要約: 投機的復号化(英: Speculative decoding)は、ターゲットの自己回帰言語モデルの推論を高速化する技術である。
そのような偉業は、$textitmentored decoding$と呼ばれる、損失の多い投機的デコーディングに対する形式的なアプローチで可能かを示す。
- 参考スコア（独自算出の注目度）: 16.964832690230647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding is a successful technique speeding up inference of a target autoregressive language model via a fast drafter model. Lossy speculative decoding allows a drift with respect to the target to further improve speed. Interestingly, it has been observed experimentally that the resulting model can $\textit{also}$ beat the target $\textit{quality-wise}$. Our paper formally proves how such a feat is possible with a formal approach to lossy speculative decoding called $\textit{mentored decoding}$. To get there, we connect inference to a celebrated ML training theory, $\textit{boosting}$, and proceed via the generalization of mentored decoding to the whole set of $f$-divergences. We uncover key properties of mentored decoding, among which (i) the particularly appealing geometric nature of the total variation case, (ii) simple approximations for any $f$-divergence in direct relation with boosting compliance, and (iii) a $\textit{divergence independent}$ $O(n)$ space and $O(\mathrm{sort}(n))$ time data structure built on drafter and target outputs, which allows to query the optimal parameters of the dual problem in $O(\log n)$ time and constructing optimal mentored distributions in $O(n)$ time for any $f$-divergence.
- Abstract（参考訳）: 投機的復号化は、高速な起草モデルを通じてターゲットの自己回帰言語モデルの推論を高速化する手法として成功している。
ロスシーな投機的復号法は、目標に対するドリフトを許容し、速度をさらに向上させる。
興味深いことに、結果のモデルは $\textit{also}$ がターゲットである $\textit{quality-wise}$ に打ち勝つことができる。
我々の論文は、$\textit{mentored decoding}$という、損失のある投機的復号法に対する形式的なアプローチで、そのような偉業が可能であることを正式に証明している。
そこで、推論を有名なMLトレーニング理論である$\textit{boosting}$に接続し、メンタ付きデコーディングの一般化を通じて、$f$-divergencesの全セットに進む。
我々はメンター付き復号法の鍵となる性質を明らかにする。
一 総変分事件の特に魅力的な幾何学的性質
(ii)コンプライアンスの強化と直接関係のある$f$-divergenceの簡易近似
(iii) $\textit{divergence independent}$$O(n)$ space and $O(\mathrm{sort}(n))$ time data structure built on drafter and target outputs, which can query the optimal parameters of the dual problem in $O(\log n)$ time and constructing optimal mentored distributions in $O(n)$ time for any $f$-divergence。
関連論文リスト
- RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding [80.12789199134511]
大規模言語モデル(LLM)における自己回帰デコーディングは、ステップ毎に1つのトークンを生成し、高い推論遅延を引き起こす。
我々は,検索した正確なパターンとロジット駆動の将来の手がかりを統合する軽量でトレーニング不要な $textbfRACER を提案する。
Spec-Bench、HumanEval、MGSM-ZHの実験では、RACERは推論を継続的に加速し、自動回帰デコーディングよりも2倍以上のスピードアップを達成した。
論文 参考訳（メタデータ） (2026-04-16T11:23:55Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - Foundations of Top-$k$ Decoding For Language Models [19.73575905188064]
我々は、トップ$kの復号化を説明・一般化する理論的枠組みを開発する。
大規模な分岐に対して効率的に最適化する方法を示す。
論文 参考訳（メタデータ） (2025-05-25T23:46:34Z) - Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency [26.173523821684306]
トークン配置対応層スキップフレームワークを提案し,性能を維持しつつ1.5倍の演算を効率よく節約する。
7 sim 70$のパラメータを持つ大規模言語モデルの実験では、D3$は完全な推論パイプラインと比較して平均1.5倍のスピードアップを達成することができる。
論文 参考訳（メタデータ） (2025-03-11T15:15:54Z) - Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。
提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
論文 参考訳（メタデータ） (2024-05-30T21:36:12Z) - Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。
Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
論文 参考訳（メタデータ） (2024-05-28T17:40:48Z) - SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。
提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2023-10-23T17:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。