論文の概要: TreeWY: Speculative Verification for Gated DeltaNet Hybrids
- arxiv url: http://arxiv.org/abs/2608.20961v1
- Date: Fri, 21 Aug 2026 10:31:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.507515
- Title: TreeWY: Speculative Verification for Gated DeltaNet Hybrids
- Title（参考訳）: TreeWY: Gated DeltaNet Hybridsの投機的検証
- Abstract要約: 階層はリニアアテンション(Gated DeltaNet, GDN)層であり、キーバリューキャッシュの増大ではなく、小さな固定サイズのリカレントステートを持つ。
今日のシステムは、GDNレイヤのすべてのドラフト位置でフルリカレントステートをスナップショットし、これらのスナップショットはドラフトツリーのブランチ間で共有することはできない。
すべてのドラフトノードの出力を1つの三角形の解で計算し、コミット時に受け入れられた状態のみを再構築する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern open models are hybrids: most layers are linear-attention (Gated DeltaNet, GDN) layers carrying a small fixed-size recurrent state instead of a growing key-value (KV) cache. This makes ordinary decoding memory-efficient, but hurts speculative decoding. To verify a batch of draft tokens and then roll back the rejected ones, today's systems snapshot the full recurrent state at every draft position for GDN layers, and those snapshots cannot be shared across branches of a draft tree, so a wide, high-acceptance tree becomes memory-infeasible. We remove the snapshots. Using a tree-structured WY transform of the gated delta rule, we compute every draft node's output with a single triangular solve and reconstruct only the one accepted state on commit, storing a small pseudo-value matrix instead of per-node states; the derivation depends only on the gated delta rule, not on any other architectural detail. In serving benchmarks on two scales of one hybrid model family (Qwen3.5 35B and 397B) this cuts speculative recurrent-state memory and KV-cache pressure at identical acceptance length, turning the freed HBM into higher throughput and much lower time-to-first-token (TTFT) wherever memory binds, and costing a few percent where it does not. For tree width the same memory buys affordability: a wider, higher-acceptance draft becomes possible, though not yet a throughput win.
- Abstract（参考訳）: 現代のオープンモデルはハイブリッドである。ほとんどのレイヤは、キーバリュー(KV)キャッシュではなく、小さな固定サイズのリカレントステートを持つリニアアテンション(Gated DeltaNet, GDN)層である。
これにより、通常のデコーディングはメモリ効率が良いが、投機的デコーディングを損なう。
ドラフトトークンのバッチを検証して、削除されたトークンをロールバックするために、今日のシステムは、GDNレイヤのドラフト位置毎にフルリカレントステートをスナップショットし、これらのスナップショットはドラフトツリーのブランチ間で共有できないため、広い、高い受け入れツリーがメモリ使用不能になる。
スナップショットを削除します。
ゲートデルタ則のツリー構造WY変換を用いて、すべてのドラフトノードの出力を単一の三角形の解法で計算し、コミット時に受け入れられた1つの状態のみを再構成し、ノード単位の状態ではなく小さな擬値行列を格納する。
1つのハイブリッドモデルファミリの2つのスケール(Qwen3.5 35Bと397B)でベンチマークを行う場合、これは投機的リカレントステートメモリとKVキャッシュ圧力を同じ受け入れ長で削減し、解放されたHBMを高いスループットに、メモリがバインドするたびにTTFT(Time-to-first-token)に切り替える。
ツリー幅では、同じメモリが手頃な価格で購入され、より広く、より受け入れやすいドラフトが実現されるが、まだスループットの勝利は得られない。
関連論文リスト
- DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳（メタデータ） (2026-08-13T17:43:44Z) - Bole: Efficient Tree Speculation for Hybrid-Attention Language Models [14.999732832367307]
ハイブリット・アテンションな大言語モデルは、長いコンテキスト推論コストを削減するために、全注意とリカレント・リニア・アテンションを組み合わせる。
既存のツリー指定システムは、キー値キャッシュとフルアテンションモデルを中心に設計されている。
本稿では,ハイブリッドアテンション LLM に対する効率的なツリー投機を可能にするカーネル・ランタイム共同設計である Bole を提案する。
論文 参考訳（メタデータ） (2026-08-03T03:43:14Z) - Fractional Verkle Trees: A Hypertree Decomposition and Verified Proof Serialization Architecture for High-Performance Blockchain State Accumulators [0.0]
We present Fractional Verkle Trees (FVT), a hypertree serialization decomposition global state into N independent sub-accumulator coordinateed by a Merkle commitment tree。
Apple M1 Proのベンチマークでは、ヒープ割り当ての57%(566,760から242,004バイト/10K$)、並列挿入は2,433 ns/op、ネットワーク全体では6000のフルノードで1年4.85PBである。
論文 参考訳（メタデータ） (2026-06-15T07:16:07Z) - Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention [81.79922329750674]
リニアアテンションは、ソフトマックスアテンションのキャッシュを固定サイズのリカレント状態に置き換え、シーケンシャルミキシングを線形時間に短縮し、定メモリに復号する。
我々はGated DeltaNet-2を紹介し、Gated DeltaNetとKim Delta Attentionの両方を一般化する。
Gated DeltaNet-2は、言語モデリング、常識推論、検索にまたがるMamba Gated DeltaNet、KDA、Mamba-3の変種の中で、最も優れた総合的な結果を得る。
論文 参考訳（メタデータ） (2026-05-21T17:44:57Z) - Accelerating Speculative Decoding with Block Diffusion Draft Trees [20.28933257827737]
投機的復号化は、軽量なドラフトラを使って複数の未来のトークンを提案することで、自己回帰言語モデルを加速する。
DFlashは、ブロック拡散ドラフトラが1つのフォワードパスでドラフトブロック全体を生成することができることを示している。
Vanilla DFlashは、ラウンド毎に1つのドラフトされた軌道のみを検証する。
DDTreeは,ブロック拡散型ドラフトラの配置分布から直接ドラフトツリーを構築する手法である。
論文 参考訳（メタデータ） (2026-04-14T17:23:14Z) - Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。
ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
論文 参考訳（メタデータ） (2025-12-26T04:45:49Z) - BrepGPT: Autoregressive B-rep Generation with Voronoi Half-Patch [61.20046418942948]
境界表現(B-rep)はCADモデル表現のデファクトスタンダードである。
本稿では,B-rep生成のためのシングルステージ自動回帰フレームワークBrepGPTを提案する。
論文 参考訳（メタデータ） (2025-11-27T07:16:53Z) - Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。
HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2025-10-22T15:56:19Z) - OPT-Tree: Speculative Decoding with Adaptive Draft Tree Structure [40.9990864658776]
投機的復号には、複数のトークンを1ステップで生成できるようにする"ドラフトと検証"機構が使用されている。
既存の手法は主に固定されたドラフト構造を採用しており、異なる状況に適応できない。
我々は適応的でスケーラブルなドラフトツリーを構築するアルゴリズムであるOPT-Treeを提案する。
論文 参考訳（メタデータ） (2024-06-25T04:45:53Z) - An Information Theory-inspired Strategy for Automatic Network Pruning [97.03772272417599]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。
既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。
本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文 参考訳（メタデータ） (2021-08-19T07:03:22Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳（メタデータ） (2020-12-29T18:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。