論文の概要: Bole: Efficient Tree Speculation for Hybrid-Attention Language Models

• arxiv url: http://arxiv.org/abs/2608.01651v1
• Date: Mon, 03 Aug 2026 03:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.315383
• Title: Bole: Efficient Tree Speculation for Hybrid-Attention Language Models
• Title（参考訳）: Bole:ハイブリッドアテンション言語モデルのための効率的な木推定
• Abstract要約: ハイブリット・アテンションな大言語モデルは、長いコンテキスト推論コストを削減するために、全注意とリカレント・リニア・アテンションを組み合わせる。 既存のツリー指定システムは、キー値キャッシュとフルアテンションモデルを中心に設計されている。 本稿では,ハイブリッドアテンション LLM に対する効率的なツリー投機を可能にするカーネル・ランタイム共同設計である Bole を提案する。
• 参考スコア（独自算出の注目度）: 14.999732832367307
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hybrid-attention large language models combine full attention with recurrent linear attention to reduce long-context inference costs, yet their autoregressive decoding remains memory-bound. Tree speculative decoding offers an attractive acceleration path, but existing tree-speculation systems are designed around the key--value caches of full-attention models. On hybrid models, they traverse recurrent layers branch by branch and materialize a full state for every proposal node, causing verification latency and transient memory to scale poorly with tree and batch sizes. We present Bole, a kernel--runtime co-design that enables efficient tree speculation for hybrid-attention LLMs. Bole transforms the linear-attention recurrence into a tree-structured closed form and realizes it with a resource-efficient GPU kernel, verifying all proposal nodes in parallel and accelerating linear-attention tree verification by 3.4--7.7$\times$. It losslessly encodes speculative state updates as token-level factors and reconstructs only the state selected after sampling, reducing transient state memory by 82--99$\times$ and freeing GPU capacity for KV caches. Its integration into SGLang, a widely deployed production LLM serving engine, couples efficient state management with a batch-wide verification budget calibrated to the complete hybrid forward. Across four models, two GPU platforms, and diverse datasets, Bole delivers up to $4.72\times$ the offline decode throughput of autoregressive decoding and up to $2.03\times$ that of the strongest tree-speculative baseline. Under online agent workloads, it reduces TTFT and TPOT by up to $67.6%$ and $49.9%$, respectively, over the strongest tree-speculative baseline.
• Abstract（参考訳）: ハイブリット・アテンションな大言語モデルは、長いコンテキスト推論コストを削減するために、完全な注意とリカレント・リニア・アテンションを組み合わせるが、その自己回帰デコーディングはメモリバウンドのままである。 ツリー投機デコーディングは魅力的な加速パスを提供するが、既存のツリー指定システムは、フルアテンションモデルのキー値キャッシュを中心に設計されている。 ハイブリッドモデルでは、リカレントレイヤが分岐して分岐し、提案ノード毎に完全な状態を実現する。 本稿では,ハイブリッドアテンション LLM に対する効率的なツリー投機を可能にするカーネル・ランタイム共同設計である Bole を提案する。 Boleは、リニアアテンションの繰り返しを木構造化されたクローズド形式に変換し、リソース効率のよいGPUカーネルで実現し、すべての提案ノードを並列に検証し、リニアアテンションツリーの検証を3.4--7.7$\times$で加速する。 投機的状態更新をトークンレベルの要素としてコーディングし、サンプリング後に選択された状態のみを再構成し、過渡状態メモリを82-99$\times$で削減し、KVキャッシュのGPU容量を解放する。 広く配備されたLLMサービスエンジンであるSGLangに統合され、効率の良い状態管理とバッチ幅の検証予算を、完全なハイブリッドフォワードに調整する。 4つのモデル、2つのGPUプラットフォーム、多様なデータセットにまたがって、Boleは、自動回帰デコーディングのオフラインデコードスループットを最大4.72\times、最大2.03\timesを最強のツリー指定ベースラインの最大2.03\timesとして提供する。 オンラインエージェントのワークロード下では、TTFTとTPOTをそれぞれ67.6%と49.9%の価格で削減し、最強のツリー投機ベースラインである。

関連論文リスト

• HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees [10.936836651826722]
  HARTS (Hybrid-Attention RL over Tree Structures) について述べる。 HarTSは、実際のハイブリッドアテンションモデル上で任意のロールアウトツリープレフィックス共有スピードアップを示す最初のシステムである。
  論文  参考訳（メタデータ） (2026-08-28T10:18:54Z)
• TreeWY: Speculative Verification for Gated DeltaNet Hybrids [0.0]
  階層はリニアアテンション(Gated DeltaNet, GDN)層であり、キーバリューキャッシュの増大ではなく、小さな固定サイズのリカレントステートを持つ。 今日のシステムは、GDNレイヤのすべてのドラフト位置でフルリカレントステートをスナップショットし、これらのスナップショットはドラフトツリーのブランチ間で共有することはできない。 すべてのドラフトノードの出力を1つの三角形の解で計算し、コミット時に受け入れられた状態のみを再構築する。
  論文  参考訳（メタデータ） (2026-08-21T10:31:15Z)
• DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
  投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。 Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
  論文  参考訳（メタデータ） (2026-08-13T17:43:44Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• Fractional Verkle Trees: A Hypertree Decomposition and Verified Proof Serialization Architecture for High-Performance Blockchain State Accumulators [0.0]
  We present Fractional Verkle Trees (FVT), a hypertree serialization decomposition global state into N independent sub-accumulator coordinateed by a Merkle commitment tree。 Apple M1 Proのベンチマークでは、ヒープ割り当ての57%(566,760から242,004バイト/10K$)、並列挿入は2,433 ns/op、ネットワーク全体では6000のフルノードで1年4.85PBである。
  論文  参考訳（メタデータ） (2026-06-15T07:16:07Z)
• GASim: A Graph-Accelerated Hybrid Framework for Social Simulation [56.12016729479412]
  GASimは大規模社会シミュレーションのためのグラフ加速型ハイブリッドマルチエージェントフレームワークである。 LLMによって駆動されるコアエージェントに対して、GASimは、集中的なLLMベースの検索パイプラインを置き換えるために、Graph-Jasmined Memory (GOM)を導入した。 通常のエージェントの大部分に対して、GASimはグラフメッセージパッシング(GMP)を採用し、並列更新によるシーケンシャルなABM実行を代用している。
  論文  参考訳（メタデータ） (2026-05-08T13:01:25Z)
• SMART: When is it Actually Worth Expanding a Speculative Tree? [26.986851887229054]
  ツリーベースの投機的復号化は、分岐したツリードラフトトークンを単一のターゲットモデルフォワードパスで検証することにより、自己回帰生成を加速する。 既存の方法では、重要な効率パラドックスを無視しながら、受理トークン数のトークンレベル確率の最大化が優先されている」。 本稿では,実行木構築のためのシステム対応限界解析フレームワークSMARTを提案する。
  論文  参考訳（メタデータ） (2026-04-09T13:17:56Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
  本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。 ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
  論文  参考訳（メタデータ） (2025-12-26T04:45:49Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• Hierarchical Quantized Diffusion Based Tree Generation Method for Hierarchical Representation and Lineage Analysis [49.00783841494125]
  HDTreeは階層的潜在空間内の木関係を、統一的な階層的コードブックと量子化拡散プロセスを用いてキャプチャする。 HDTreeの有効性は、汎用データセットと単一セルデータセットの比較によって示される。 これらの貢献は階層的な系統解析のための新しいツールを提供し、より正確で効率的な細胞分化経路のモデリングを可能にする。
  論文  参考訳（メタデータ） (2025-06-29T15:19:13Z)
• RETENTION: Resource-Efficient Tree-Based Ensemble Model Acceleration with Content-Addressable Memory [9.502789435634975]
  RETENTIONは、ツリーベースのモデル推論のCAMキャパシティ要求を大幅に削減するエンドツーエンドフレームワークである。 本稿では,CAMにおけるドナー状態の広範利用によるメモリ冗長性を軽減するために,2つの革新的なデータ配置戦略を取り入れたツリーマッピング手法を提案する。
  論文  参考訳（メタデータ） (2025-06-06T11:25:51Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• DeFT: Decoding with Flash Tree-attention for Efficient Tree-structured LLM Inference [22.684773338989007]
  大規模言語モデル(LLM)は、トークンの共有プレフィックスを持つツリー構造において、複数の世代呼び出しを処理する複雑なタスクにますます採用されている。 木に基づくアプリケーションの既存の推論システムは、注意計算中にクエリとKVキャッシュの不適切なパーティショニングのために非効率である。 我々は,プレフィックス認識と負荷分散KVキャッシュパーティションを用いたハードウェア効率の高いアテンションアルゴリズムであるDeFTを提案する。
  論文  参考訳（メタデータ） (2024-03-30T04:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。