論文の概要: TreeSpark: Learning to Draft the Trees You Verify for Speculative Decoding
- arxiv url: http://arxiv.org/abs/2610.20175v1
- Date: Wed, 14 Oct 2026 13:21:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.172085
- Title: TreeSpark: Learning to Draft the Trees You Verify for Speculative Decoding
- Title（参考訳）: TreeSpark: 投機的デコーディングで検証したツリーのドラフトを学ぶ
- Abstract要約: DFlashやDSparkのような並列ドラフトアは提案の遅延を減らしますが、早期のミスマッチは各ブロックがどの程度受け入れられるかを制限します。
TreeSparkは半自動回帰型DSparkアーキテクチャを拡張した統合トレーニングおよび推論フレームワークである。
- 参考スコア（独自算出の注目度）: 19.49953238064135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parallel drafters such as DFlash and DSpark reduce proposal latency, but early mismatches limit how much of each block can be accepted. Retaining alternatives introduces parent states and candidate choices that reference-conditioned training does not directly supervise. We introduce TreeSpark, a unified training and inference framework extending the semi-autoregressive DSpark architecture. It constructs parent-conditioned candidate trees from one backbone pass and replays their expansion, pruning, and budgeted packing during training. Survival negative log-likelihood weights retained edges by reference-derived path mass, while a capped coverage hinge promotes target-important alternatives near local selection boundaries. Both objectives reuse reference-chain target distributions without additional target forward passes. We evaluate greedy decoding with Qwen3-4B and Qwen3-8B on nine general benchmarks and six writing domains. Across targets and suites, TreeSpark improves mean acceptance length over DSpark by 23.4% to 31.6% and mean single-request throughput by 15.1% to 25.0%. Batched Qwen3-4B throughput improves by 12.6% to 17.2%. At fixed attention capacity and inference policy, the proposed supervision further improves mean acceptance length by approximately 6.4% and mean system throughput by 4.2% to 5.0% on Qwen3-4B.
- Abstract（参考訳）: DFlashやDSparkのような並列ドラフトアは提案の遅延を減らしますが、早期のミスマッチは各ブロックがどの程度受け入れられるかを制限します。
代替の保持は、参照条件のトレーニングが直接監督しない親状態と候補選択を導入する。
TreeSparkは半自動回帰型DSparkアーキテクチャを拡張した統合トレーニングおよび推論フレームワークである。
1つのバックボーンパスから親条件の候補木を構築し、トレーニング中に拡張、プルーニング、予算付パッキングを再生する。
生存中の負の対数状重量は、基準由来の経路質量によってエッジを保持し、キャップ付きカバーヒンジは、局所的な選択境界付近でターゲット重要選択肢を促進する。
両方の目的は、追加の目標フォワードパスなしで参照チェーンターゲットディストリビューションを再利用する。
9つのベンチマークと6つの書き込み領域に対して,Qwen3-4BとQwen3-8Bのグリージーデコーディングを評価した。
ターゲットとスイート全体で、TreeSparkはDSparkに対する平均受け入れ期間を23.4%から31.6%改善し、シングルリクエストのスループットを15.1%から25.0%改善している。
バッチQwen3-4Bのスループットは12.6%向上し17.2%となった。
固定された注意力と推論ポリシでは,Qwen3-4Bでは平均受入長が約6.4%,平均システムスループットが4.2%から5.0%向上する。
関連論文リスト
- Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding [24.85822818582972]
ツリーベースの投機的復号化は、1つのターゲットモデルパスで複数のドラフト継続を検証する。
ドラフトスコアから構築された有限木は、基本的なドラフトターゲットミスマッチに直面します。
より正確な検証により、固定木への受け入れが向上し、ターゲットフィードバックがツリー自体を改善することができるかどうかを問う。
論文 参考訳（メタデータ） (2026-10-08T11:40:13Z) - One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳（メタデータ） (2026-09-20T14:54:35Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding [3.210063008779709]
TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。
TreeSparkは1ラウンドあたり15～25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8～14%高速にデコードする。
論文 参考訳（メタデータ） (2026-08-12T05:30:46Z) - From Chains to Trees: Parent-Conditioned Drafting for Semi-Autoregressive Speculative Decoding [14.328430707715114]
投機的復号化LLMは、提案された継続がターゲットモデル検証を継続した場合のみ、推論を加速する。
親条件分岐は、半自己回帰型ドラフトラにおいて既に存在する条件付きキャパシティをエンドツーエンドの推論ゲインに変換することができることを示す。
論文 参考訳（メタデータ） (2026-08-03T12:15:26Z) - DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
投機的復号化はLarge Language Model (LLM)推論を加速させる。
最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。
我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
論文 参考訳（メタデータ） (2026-07-06T14:28:06Z) - Self-Improvement Can Self-Regress: The Rise-and-Collapse Failure Mode of LLM Self-Training [2.743683637024251]
自己改善は、コードトレーニング後のREINFORCEで自己回帰できる。
本研究は,Qwen-2.5-3BとQwen-2.5-7Bを用いたマルチシードテストベッドで行った。
論文 参考訳（メタデータ） (2026-06-17T18:03:06Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Goose: Anisotropic Speculation Trees for Training-Free Speculative Decoding [13.709230136542594]
投機的復号化は、複数の候補トークンを起草し、1つのフォワードパスで検証することで、大きな言語モデル推論を加速させる。
既存のトレーニングフリーなメソッドは、単一のトークンソースからドラフトされ、起源の候補品質を区別することなく、ツリーを形作っている。
我々は、入力コンテキストからコピーされたn-gramマッチングと、先行パスからの統計的予測の2つの一般的なトレーニングフリートークンソースが、受入率において劇的に異なることを観察した。
ステップ毎に受理されるトークンの数は、どちらのソースも単独で使用するものと同じくらいであることを示す。
論文 参考訳（メタデータ） (2026-04-02T13:48:42Z) - Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。
本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文 参考訳（メタデータ） (2026-02-27T20:23:59Z) - Please Mind the Root: Decoding Arborescences for Dependency Parsing [67.71280539312536]
我々はUniversal Dependency Treebankから多くの言語における最先端の出力を分析する。
最悪の制約違反率は24%です。
論文 参考訳（メタデータ） (2020-10-06T08:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。