論文の概要: GDN Tree-Scan: Served Tree Verification for Recurrent-Hybrid Language Models

• arxiv url: http://arxiv.org/abs/2609.23900v1
• Date: Sun, 20 Sep 2026 22:21:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.014864
• Title: GDN Tree-Scan: Served Tree Verification for Recurrent-Hybrid Language Models
• Title（参考訳）: GDN Tree-Scan: 繰り返しHybrid言語モデルのためのServed Tree Verification
• Abstract要約: 本稿では,Gated-DeltaNetハイブリッド言語モデルのバリデーションであるGDN Tree-ScanをvLLMに統合した。 このシステムは、FlashAttention-2ツリーバイアスアテンション、ブランチローカルなGDNスキャン/リプレイ、デバイスサイドのマルチドラフトコミットメント、受け入れチェーンのみのステートパブリッシュを組み合わせたものだ。
• 参考スコア（独自算出の注目度）: 5.558968223748393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree speculative decoding verifies multiple candidate continuations in one target forward pass. For attention-only transformers, the verifier mainly needs an ancestry mask. Recurrent-hybrid language models break this assumption: a candidate row must also carry the recurrent state that native sequential decode would have produced along its root-to-node path. Otherwise, a verifier can use a correct attention mask while still conditioning on an impossible recurrent history. We present GDN Tree-Scan, a served verifier for Gated-DeltaNet hybrid language models integrated into vLLM. The system combines FlashAttention-2 tree-bias attention, branch-local GDN scan/replay, device-side multidraft commitment, and accepted-chain-only state publication. On the public Qwen3.6-27B-FP8 checkpoint, in a clean batch-one (B=1) SWE/Codex decode gate at temperature 0.6, a six-node root-branch tree increases committed tokens/event by 17.2% at near-native verify-forward time and reaches 23.88 token-weighted decode tokens/s versus 18.80 for native five-step MTP (E5), a 27.0% token-weighted decode-throughput gain. The per-request-equal latency view is +4.0%, and end-to-end task wall time remains prefill-heavy. Empirical equivalence evidence is scoped to recurrent-oracle probability-rescore (p-rescore) closure within the observed native flip floor, not a full distribution-distance proof.
• Abstract（参考訳）: Tree Speculative Decodingは、1つのターゲットフォワードパスにおける複数の候補継続を検証する。 注意のみの変換器の場合、検証器は主に祖先マスクを必要とする。 候補行は、ネイティブシーケンシャルデコードがそのルート・ツー・ノードパスに沿って生成したリカレントステートも持たなければならない。 そうでなければ、検証者は、不可能な再帰履歴を条件にしながら、正しい注意マスクを使用することができる。 本稿では,Gated-DeltaNetハイブリッド言語モデルのバリデーションであるGDN Tree-ScanをvLLMに統合した。 このシステムは、FlashAttention-2ツリーバイアスアテンション、ブランチローカルなGDNスキャン/リプレイ、デバイスサイドのマルチドラフトコミットメント、受け入れチェーンのみのステートパブリッシュを組み合わせたものだ。 Qwen3.6-27B-FP8チェックポイントでは、温度0.6のクリーンバッチ1(B=1)のSWE/Codexデコードゲートで、6ノードのルートブランチツリーがコミットトークン/イベントを約17.2%増加させ、23.88トークン重み付きデコードトークン/sに達した。 要求毎のレイテンシビューは+4.0%であり、エンドツーエンドのタスクウォール時間は未完成のままである。 経験的等価性証拠は、観測されたネイティブフリップフロア内での繰り返し確率スコア (p-rescore) の閉包を許容するが、完全な分布距離の証明ではない。

関連論文リスト

• From Transient Prompts to Persistent Control: Scientific Poster Generation via Recursive Semantic-Geometric Contracts [67.34566880931716]
  PosterVisorは、ポスター生成を一時的なプロンプトから永続的なコントロールに移行するコントロールフレームワークである。 オーケストラは、紙と視覚資産にルーリックを置き、それらをセマンティック幾何学契約にコンパイルする。 Recursive Contract Enforcement (RCE) は証拠が現れると、ステージ全体のチェックを動的にトリガーする。
  論文  参考訳（メタデータ） (2026-09-15T15:32:07Z)
• DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
  投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。 Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
  論文  参考訳（メタデータ） (2026-08-13T17:43:44Z)
• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• GRID: Grammar-Railed Decoding for Enterprise SQL Generation [0.0]
  文法制約付き復号エンジンGRID(Grammar-Railed Decoding)を提案する。 LALR(1)自体を実行可能なオラクルとして使用する。 4つの保証(音量、完全性、終了、およびほぼ一定に近いコスト)は明示的な前提条件で記述される。
  論文  参考訳（メタデータ） (2026-07-11T19:25:23Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
  Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。 小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。 LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
  論文  参考訳（メタデータ） (2026-06-24T03:42:44Z)
• Fractional Verkle Trees: A Hypertree Decomposition and Verified Proof Serialization Architecture for High-Performance Blockchain State Accumulators [0.0]
  We present Fractional Verkle Trees (FVT), a hypertree serialization decomposition global state into N independent sub-accumulator coordinateed by a Merkle commitment tree。 Apple M1 Proのベンチマークでは、ヒープ割り当ての57%(566,760から242,004バイト/10K$)、並列挿入は2,433 ns/op、ネットワーク全体では6000のフルノードで1年4.85PBである。
  論文  参考訳（メタデータ） (2026-06-15T07:16:07Z)
• Traversal Verification for Speculative Tree Decoding [15.720388162422978]
  投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。 本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。 提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-18T12:51:55Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。