論文の概要: Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.36173v1
• Date: Mon, 28 Sep 2026 19:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.976568
• Title: Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding
• Title（参考訳）: 投機的復号化のための隣接因果注入法
• Abstract要約: DSpineは背骨全体に因果条件注入を施したドラフト機である。 各レイヤにおいて、ゲートされた隣接インジェクションは、各前任者の予測された機能をその後継に書き込む。 対象モデルの出力埋め込みから構築された統一的な転送空間は、事前条件付きデコードによる層ワイズインジェクションである。
• 参考スコア（独自算出の注目度）: 23.339433247434723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parallel speculative drafting generates multiple candidates in one backbone pass, but independent token selection can produce inconsistent continuations that shorten the accepted prefix. Existing methods mostly leave conditional decoding to a lightweight module after the backbone, which limits the flow of predecessor information to successors. Our analysis of DFlash shows that early positions already form recoverable predictions in shallow layers, and that accurate adjacent predecessors help successors more when they enter earlier. We therefore propose DSpine, a drafter with causal conditioning injection throughout the backbone: at every layer, gated adjacent injection writes each predecessor's predicted feature into its successor, so the causal conditioning chain unfolds over network depth while all positions update in parallel. A unified transfer space built from the target model's output embeddings unifies layer-wise injection with predecessor-conditioned decoding, and layer-wise output-embedding supervision promotes the formation of predicted features in shallow layers. Fused kernels and a transition cache execute both efficiently in parallel within SGLang. Across seven math, code, and chat benchmarks, DSpine achieves the longest acceptance length at both temperatures on Qwen3-4B and Qwen3-8B. At temperature zero on Qwen3-8B, it raises the seven-benchmark mean from DFlash's 3.77 to 4.82 (+27.8%); in SGLang serving tests, it delivers 23.3% higher throughput than DFlash on average.
• Abstract（参考訳）: 並列投機的ドラフトは、1つのバックボーンパスで複数の候補を生成するが、独立したトークン選択は、受け入れられたプレフィックスを短くする一貫性のない継続を生成することができる。 既存の手法では、バックボーンの後に条件付きデコーディングを軽量モジュールに委ねることが多い。 我々のDFlashの分析では、早期の位置が既に浅い層で回復可能な予測を形成しており、正確な隣接した前任者が早期に入る際に、後継者を支援することが示されています。 そこで我々は,背骨全体に因果条件付注射を施したDSpineを提案する: 各層において, ゲート隣接注入は前者の予測した特徴を後継に書き込むので, 因果条件付チェーンはネットワーク深度を超えて展開され, 全ての位置が並列に更新される。 対象モデルの出力埋め込みから構築された統一転送空間は、事前条件付きデコードとレイヤーワイド注入を統一し、層ワイド出力埋め込み制御は、浅い層における予測特徴の形成を促進する。 融合カーネルと遷移キャッシュはどちらもSGLang内で効率的に並列に実行される。 7つの数学、コード、チャットのベンチマークで、DSpineはQwen3-4BとQwen3-8Bの両方の温度で、最も長い受理期間を達成している。 Qwen3-8Bの温度ゼロでは、DFlashの3.77から4.82(+27.8%)まで平均7ベンチマークを上げ、SGLangのサービステストでは平均23.3%のスループットを提供する。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
  Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。 本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
  論文  参考訳（メタデータ） (2026-08-12T07:32:29Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• HyperDFlash: Hyper-Connection-Aligned Block Speculative Decoding with Gated Residual Reduction [8.146414118644069]
  We present HyperDFlash, a block-parallel speculative decoding framework for DeepSeek-V4's Hyper-Connections (HC)。 DeepSeek-V4のネイティブなマルチトークン予測(MTP)モジュールが初期トークンドラフトで高いパフォーマンスを示したにもかかわらず、ドラフトの精度は後の位置で大幅に低下した。 元のDFlash法は効率的なワンパスブロックドラフトをサポートしているが、HCパラダイムにシームレスに適応することはできない。
  論文  参考訳（メタデータ） (2026-06-25T08:31:53Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States [28.663951525871756]
  本稿では、Latent Refinement Decoding (LRD) と予測フィードバックループを備えた2段階のフレームワークについて紹介する。 LRDは最大10.6倍のスピードアップを提供しながら精度を向上し、並列シーケンス生成の強力な代替手段となる。
  論文  参考訳（メタデータ） (2025-10-13T06:38:13Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
  大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
  論文  参考訳（メタデータ） (2025-06-04T08:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。