論文の概要: Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting

• arxiv url: http://arxiv.org/abs/2605.29727v1
• Date: Thu, 28 May 2026 10:21:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 05:02:24.575108
• Title: Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting
• Title（参考訳）: Bastion: 木構造ブロック拡散ドラフトによる予算を考慮した投機的デコーディング
• Authors: Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun,
• Abstract要約: BASTIONは、ツリーベースの拡散ドラフトを備えた、予算対応の投機的デコーディングフレームワークである。 本フレームワークは,(1)経路信頼度によって予測される受理長を推定する受理サロゲート,(2)ハードウェアを意識した屋上モデルのキャリブレーションを行うオンライン遅延推定器,(3)積算検証コストを正当化しなくなるまで木を成長させる適応的最優先拡張の3つの相乗的要素を統合する。
• 参考スコア（独自算出の注目度）: 36.83545196908392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Block-diffusion drafters have recently emerged as a powerful alternative for speculative decoding by predicting multiple future-token distributions in a single parallel step. However, since these parallel predictions are sampled from position-wise marginals rather than fully conditioned sequences, committing to a single greedy path often fails to capture the target model's preferred trajectory. To address this, we propose BASTION, a budget-aware speculative decoding framework with tree-based diffusion drafting. Unlike existing methods that rely on static tree topologies, BASTION dynamically constructs query-dependent trees by balancing draft quality against hardware constraints. Our framework integrates three synergistic components: (1) an acceptance surrogate that estimates expected accepted length via path confidence, (2) an online latency estimator that calibrates a hardware-aware roofline model, and (3) an adaptive best-first expansion that grows the tree until marginal gains no longer justify incremental verification costs. BASTION is training-free, preserves the target model's distribution, and requires no per-setting tuning. Across diverse benchmarks and GPU architectures, BASTION achieves up to a 6.61x speedup over standard autoregressive decoding, outperforming state-of-the-art block-diffusion baselines by 39%.
• Abstract（参考訳）: ブロック拡散プロダラは、最近、投機的デコーディングの強力な代替として、単一並列ステップで複数の将来的な分布を予測している。 しかしながら、これらの並列予測は完全な条件付きシーケンスではなく、位置の辺縁からサンプリングされるため、単一の欲求経路へのコミットは、ターゲットモデルの好ましい軌道を捉えるのに失敗することが多い。 そこで我々は,木をベースとした拡散草案作成を伴う予算を考慮した投機的復号化フレームワークであるBASTIONを提案する。 静的ツリートポロジに依存する既存のメソッドとは異なり、BASTIONはハードウェア制約に対するドラフト品質のバランスをとることで、クエリ依存ツリーを動的に構築する。 本フレームワークは,(1)経路信頼度によって予測される受理長を推定する受理サロゲート,(2)ハードウェアを意識した屋上モデルのキャリブレーションを行うオンライン遅延推定器,(3)積算検証コストを正当化しなくなるまで木を成長させる適応的最優先拡張の3つの相乗的要素を統合する。 BASTIONはトレーニング不要で、ターゲットモデルの分布を保存し、設定毎のチューニングを必要としない。 さまざまなベンチマークとGPUアーキテクチャで、BASTIONは標準の自己回帰デコードよりも最大6.61倍のスピードアップを実現し、最先端のブロック拡散ベースラインを39%上回っている。

関連論文リスト

• Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding [27.332123289262086]
  Graftは、相互強化操作としてプルーニングと検索を結合する補償フレームワークである。 短文ベンチマークでは、最大5.41$times$ Speedupを実現し、大規模Qwen3-235Bでは平均速度を21.8%向上させる。 また、DFlashスタイルのブロック起草パラダイムにGraftを適用するための予備的な調査を行い、自己回帰的な起草木を超えて移植を拡大するための最初の証拠と洞察を提供する。
  論文  参考訳（メタデータ） (2026-05-19T16:55:48Z)
• Accelerating Speculative Decoding with Block Diffusion Draft Trees [20.28933257827737]
  投機的復号化は、軽量なドラフトラを使って複数の未来のトークンを提案することで、自己回帰言語モデルを加速する。 DFlashは、ブロック拡散ドラフトラが1つのフォワードパスでドラフトブロック全体を生成することができることを示している。 Vanilla DFlashは、ラウンド毎に1つのドラフトされた軌道のみを検証する。 DDTreeは,ブロック拡散型ドラフトラの配置分布から直接ドラフトツリーを構築する手法である。
  論文  参考訳（メタデータ） (2026-04-14T17:23:14Z)
• Dynamic Delayed Tree Expansion For Improved Multi-Path Speculative Decoding [35.984745508100595]
  本稿では,モデルファミリー,タスク,サンプリング体制間の検証戦略を体系的に評価する。 Traversal Verificationは、OTベースのメソッドがはるかに遅れているため、一貫して支配的だ。 我々は,部分的な単一経路を起草し,分岐点を遅らせる遅延木拡張を提案する。
  論文  参考訳（メタデータ） (2026-02-19T01:41:58Z)
• SAGE: Accelerating Vision-Language Models via Entropy-Guided Adaptive Speculative Decoding [15.734450444255787]
  投機的復号化は、視覚言語モデルにおける推論を加速するための有望なアプローチとして現れている。 既存のメソッドはデコードプロセスを通して固定されている静的ツリー構造に依存している。 実時間予測の不確実性に基づいて投機木構造を動的に調整する新しいフレームワークであるSAGEを提案する。
  論文  参考訳（メタデータ） (2026-01-31T05:35:40Z)
• TALON: Confidence-Aware Speculative Decoding with Adaptive Token Trees [18.53532655905144]
  投機的復号化(SD)は、出力品質を犠牲にすることなくLPM推論を高速化する標準技術となっている。 我々は、既存のツリーベースの手法にプラグイン可能な、トレーニングフリーで予算駆動の適応木拡張フレームワークであるTALONを紹介した。 TALONは最先端のイーグル3より一貫して優れており、自動回帰復号よりも最大5.16倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-01-12T09:26:45Z)
• Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
  本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。 ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
  論文  参考訳（メタデータ） (2025-12-26T04:45:49Z)
• Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
  投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。 しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。 提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-04T17:50:53Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。