論文の概要: TSS: Target-Side Sparsification for Speculative Decoding in Domain-Specific Large Language Models

• arxiv url: http://arxiv.org/abs/2609.26100v1
• Date: Sat, 15 Aug 2026 07:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.876706
• Title: TSS: Target-Side Sparsification for Speculative Decoding in Domain-Specific Large Language Models
• Title（参考訳）: TSS: ドメイン特化大言語モデルにおける投機的復号化のためのターゲット側スカラー化
• Abstract要約: 投機的復号化は、軽量なドラフトモデルとターゲット検証器との協調を通じて、大きな言語モデル推論を促進する。 ドメイン固有の推論の下では、完全なターゲット検証が常に最適な選択であるとは限らないことを示す。 投機的復号化のためのターゲット側スペーシフィケーションフレームワークであるTSSを提案する。
• 参考スコア（独自算出の注目度）: 21.02986379327923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates large language model inference through collaboration between a lightweight draft model and a target verifier. Existing methods mainly improve the draft side, while the target model is typically kept dense and unchanged. We show that, under domain-specific inference, full-depth target verification is not always the optimal choice. Counter-intuitively, skipping selected target layers can reduce verification cost while simultaneously increasing draft acceptance and preserving, or even improving, downstream task performance. Based on this observation, we propose TSS, a target-side sparsification framework for speculative decoding. TSS employs an acceptance- and metric-aware breadth search to explore multi-layer skip configurations without imposing a fixed priority between the two objectives. The selected configurations are stored in a domain-to-configuration mapping and applied by a lightweight skip controller, allowing one complete target model to support multiple sparse verification paths without retraining or permanent parameter pruning. Experiments on Spec-Bench across multiple domains, model scales, and speculative decoding methods show consistent improvements in draft acceptance and downstream task performance. In Translation setting, TSS increases the average accept length from 2.70 to 4.53 (+67.8%), improves BLEU from 0.131 to 0.237 (+80.9%), and raises end-to-end throughput from 75.6 to 127.3 tokens/s, corresponding to a 1.68X speedup.
• Abstract（参考訳）: 投機的復号化は、軽量なドラフトモデルとターゲット検証器との協調を通じて、大きな言語モデル推論を促進する。 既存の手法は主にドラフト側を改善するが、ターゲットモデルは一般的に密に保たれ、変更されない。 ドメイン固有の推論の下では、完全なターゲット検証が常に最適な選択であるとは限らないことを示す。 反対に、選択したターゲット層をスキップすることで、ドラフトの受け入れと維持を同時に増加させ、ダウンストリームタスクのパフォーマンスを改善できる。 そこで本研究では,投機的復号化のためのターゲット側スペーシフィケーションフレームワークであるTSSを提案する。 TSSは、受入型とメートル法対応の広帯域探索を用いて、2つの目的の間に一定の優先度を課すことなく、多層スキップ構成を探索する。 選択された構成はドメイン間マッピングに格納され、軽量のスキップコントローラで適用される。 複数のドメインにわたるSpec-Benchの実験、モデルスケール、投機的復号化手法は、ドラフト受け入れとダウンストリームタスクのパフォーマンスが一貫した改善を示している。 翻訳設定では、TSSは平均受信長を2.70から4.53(+67.8%)に、BLEUを0.131から0.237(+80.9%)に改善し、エンドツーエンドのスループットを75.6から127.3トークン/sに向上させ、1.68Xのスピードアップに対応する。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• Dynamic Delayed Tree Expansion For Improved Multi-Path Speculative Decoding [35.984745508100595]
  本稿では,モデルファミリー,タスク,サンプリング体制間の検証戦略を体系的に評価する。 Traversal Verificationは、OTベースのメソッドがはるかに遅れているため、一貫して支配的だ。 我々は,部分的な単一経路を起草し,分岐点を遅らせる遅延木拡張を提案する。
  論文  参考訳（メタデータ） (2026-02-19T01:41:58Z)
• AdaSD: Adaptive Speculative Decoding for Efficient Language Model Inference [1.1852406625172216]
  大規模言語モデル(LLM)に対する適応的投機的復号法(AdaSD)を提案する。 AdaSDは推論中に生成時間と受け入れ基準を動的に調整する。 ベンチマークデータセットの実験では、AdaSDは標準の投機的復号化よりも最大49%のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-12-12T04:56:08Z)
• Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match [21.810129153556044]
  訓練不要な投機的復号法(FLy)は、厳密な検証基準を緩める新しい手法である。 FLyは目標モデルの精度の99%以上を維持し,平均2.81倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-11-28T08:23:30Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Automatic Task Detection and Heterogeneous LLM Speculative Decoding [1.0485739694839669]
  下流タスク最適化に適した投機的復号化アルゴリズムを提案する。 ダウンストリームタスクを異なるサブタスクに自動的に分類するタスクパーティショニングとアサイン方法が含まれている。 実験の結果,提案手法はバニラ投機復号よりも6%から50%精度が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-13T14:16:12Z)
• SPEED: Scalable, Precise, and Efficient Concept Erasure for Diffusion Models [56.83154571623655]
  モデルパラメータを直接編集する効率的な概念消去手法であるSPEEDを導入する。 Speedyは、パラメータ更新がターゲット以外の概念に影響しないモデル編集スペースであるnullスペースを検索する。 たった5秒で100のコンセプトを消去しました。
  論文  参考訳（メタデータ） (2025-03-10T14:40:01Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。