Fugu-MT 論文翻訳(概要): ConFu: Contemplate the Future for Better Speculative Sampling

論文の概要: ConFu: Contemplate the Future for Better Speculative Sampling

arxiv url: http://arxiv.org/abs/2603.08899v1
Date: Mon, 09 Mar 2026 20:11:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-11 15:25:23.809406
Title: ConFu: Contemplate the Future for Better Speculative Sampling
Title（参考訳）: ConFu: より優れた投機的サンプリングの未来を考える
Abstract要約: textbfConFu (Contemplate the Future)は、新しい投機的デコーディングフレームワークで、ドラフトモデルが生成の今後の方向性を予測できるようにする。我々の研究は、投機的復号を連続的推論トークンでブリッジする最初のものであり、LSM推論を加速するための新しい方向を提供する。
参考スコア（独自算出の注目度）: 40.48053935426729
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose \textbf{ConFu} (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.
Abstract（参考訳）: 投機的復号化は,大規模言語モデル(LLM)推論を高速化するための強力なアプローチとして,軽量なドラフトモデルを用いて,ターゲットモデルによって検証された候補トークンを提案する。このパラダイムの有効性は、ドラフトモデルの品質に大きく依存します。 EAGLEシリーズのような最近の進歩は最先端のスピードアップを達成しているが、既存のドラフトモデルはエラーの蓄積によって制限されている。本研究では,新しい投機的復号化フレームワークであるtextbf{ConFu} (Contemplate the Future)を提案する。 ConFu紹介一ターゲットモデルから将来指向の信号を無視可能なコストで利用できるようにするトークン及びソフトプロンプトを熟考すること。 (II) 文脈を考慮した将来の予測を可能にするMoEを用いた動的コンテンポレートトークン機構、及び三アンカートークンサンプリングと将来の予測レプリケーションを備えたトレーニングフレームワークで、堅牢な将来予測を学習する。実験によると、ConFuはLlama-3 3Bおよび8Bモデルを用いて、さまざまな下流タスクに対して、EAGLE-3よりもトークンの受け入れ率と生成速度を8--11%向上させる。我々の研究は、投機的復号化を連続的推論トークンで橋渡しし、LSM推論を加速するための新しい方向を提供する最初のものであると信じています。

関連論文リスト

Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
論文参考訳（メタデータ） (2026-05-28T04:30:22Z)
Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding [13.249778063956917]
投機的復号化は、トークンを軽量なドラフトモデルで提案することにより、大きな言語モデル推論を加速する。この研究は、ドラフトトークンとターゲットモデルの予測分布をマッチングする新しいアプローチであるDropMatchを導入している。複数のベンチマークで実験したところ、我々のアプローチは、競争力のあるタスク性能を維持しながら、受け入れ期間を延ばすことが示されている。
論文参考訳（メタデータ） (2026-02-11T04:53:33Z)
PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
論文参考訳（メタデータ） (2026-01-08T07:38:46Z)
Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
論文参考訳（メタデータ） (2025-10-23T07:09:45Z)
Next Interest Flow: A Generative Pre-training Paradigm for Recommender Systems by Modeling All-domain Movelines [8.895768051554162]
本稿では,eコマースレコメンデータシステムのための新しい生成事前学習パラダイムを提案する。我々のモデルは,ユーザの将来の意図を表す密度の高いベクトル列であるNext Interest Flowを予測することを学ぶ。パイプライン全体を実装した統合フレームワークである All-domain Moveline Evolution Network (AMEN) を提示する。
論文参考訳（メタデータ） (2025-10-13T12:13:17Z)
DONUT: A Decoder-Only Model for Trajectory Prediction [12.89335607622991]
トラジェクトリをアンロールするデコーダオンリーネットワークであるDONUTを提案する。我々は、過去の軌跡を符号化し、単一の自己回帰モデルで将来の軌跡を予測する。我々はArgoverse 2シングルエージェントモーション予測ベンチマークにおいて、最先端の新たな結果を得る。
論文参考訳（メタデータ） (2025-06-07T16:24:29Z)
PARD: Accelerating LLM Inference with Low-Cost PARallel Draft Model Adaptation [4.031603850949324]
本稿では,自動回帰ドラフトモデルの並列ドラフトモデルへの低コストな適応を可能にする新しい投機的復号化手法を提案する。提案した条件付きドロップトークン法は,ドラフトモデルのトレーニング効率を3倍に向上させることができる。最適化された推論フレームワークでは、PARDはLLaMA3.1-8B推論を4.08倍高速化し、毎秒311.5トークンを達成する。
論文参考訳（メタデータ） (2025-04-23T12:27:43Z)
Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
論文参考訳（メタデータ） (2025-02-03T17:50:34Z)
Graph-Structured Speculative Decoding [52.94367724136063]
投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
論文参考訳（メタデータ） (2024-07-23T06:21:24Z)
Accelerating Production LLMs with Combined Token/Embedding Speculators [4.649953910785797]
本報告では,新規な投機的復号化ドラフトモデルの設計と訓練について述べる。文脈ベクトルとサンプリングトークンの両方にドラフト予測を条件付けすることで、投機器を訓練して高品質なn-gramを効率的に予測することができる。
論文参考訳（メタデータ） (2024-04-29T21:59:07Z)
Decoding Speculative Decoding [4.56754610152086]
投機的復号化は、品質を犠牲にすることなく、大規模言語モデルの推論を高速化する技術である。 LLaMA-65BとOPT-66Bの350以上の実験を投機的復号法を用いて検討した。新しく設計されたドラフトモデルは、既存のドラフトモデルよりも111%高いスループットを提供できる。
論文参考訳（メタデータ） (2024-02-02T16:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。