論文の概要: EAGLE-Pangu: Accelerator-Safe Tree Speculative Decoding on Ascend NPUs

• arxiv url: http://arxiv.org/abs/2603.08088v1
• Date: Mon, 09 Mar 2026 08:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.704839
• Title: EAGLE-Pangu: Accelerator-Safe Tree Speculative Decoding on Ascend NPUs
• Title（参考訳）: EAGLE-Pangu: Ascend NPU上でのアクセラレータセーフツリー投機デコード
• Abstract要約: 本稿では,Acend NPU 上のPangu 教師バックエンドにツリー投機的デコーディングをポートするシステムを提案する。 Eagles-Panguはエンド・ツー・エンドの復号スループットを平均1.27倍改善し、p99では2.46倍に向上した。
• 参考スコア（独自算出の注目度）: 5.19049674298842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive decoding remains a primary bottleneck in large language model (LLM) serving, motivating speculative decoding methods that reduce expensive teacher-model invocations by verifying multiple candidate tokens per step. Tree-structured speculation further increases parallelism, but is often brittle when ported across heterogeneous backends and accelerator stacks, where attention masking, KV-cache layouts, and indexing semantics are not interchangeable. We present EAGLE-Pangu, a reproducible system that ports EAGLE-3-style tree speculative decoding to a Pangu teacher backend on Ascend NPUs. EAGLE-Pangu contributes (i) an explicit branch/commit cache manager built on the Cache API, (ii) accelerator-safe tree tensorization that removes undefined negative indices by construction and validates structural invariants, and (iii) a fused-kernel-compatible teacher verification path with a debuggable eager fallback. On 240 turns from MT-Bench and HumanEval-style prompts, EAGLE-Pangu improves end-to-end decoding throughput by 1.27x on average, up to 2.46x at p99, over teacher-only greedy decoding in the fused-kernel performance path. We also provide a fused-kernel-free reference path with structured traces and invariant checks to support reproducible debugging and ablation across execution modes and tree budgets.
• Abstract（参考訳）: 自己回帰復号化は、大規模言語モデル(LLM)における主要なボトルネックであり、ステップ毎に複数の候補トークンを検証することで、高価な教師モデル呼び出しを減らす投機的復号化手法を動機付けている。 木構造的憶測はさらに並列性を高めるが、アテンションマスキング、KV-cacheレイアウト、インデックス化セマンティクスが交換できない異種バックエンドやアクセラレータスタックに移植されると、しばしば不安定になる。 EAGLE-3スタイルのツリー投機デコーディングをAscend NPU上のPangu教師バックエンドに移植する再現可能なシステムであるEAGLE-Panguを提案する。 EAGLE-Pangu の貢献 i)Cache API上に構築された明示的なブランチ/コミットキャッシュマネージャ。 (ii) 構造不変量の構築と検証により未定義の負の指標を除去するアクセルセーフツリーのテンソル化 (三)デバッグし易いフォールバックを有する融合カーネル互換の教師検証パス。 MT-BenchとHumanEvalスタイルのプロンプトからの240ターンでは、EAGLE-Panguは平均で1.27倍、p99では2.46倍、融合カーネルのパフォーマンスパスでは教師のみのgreedyデコードよりも、エンドツーエンドのデコードスループットを改善する。 また、構造化トレースと不変チェックを備えた融合カーネルフリー参照パスを提供し、実行モードやツリー予算をまたいで再現可能なデバッグとアブレーションをサポートする。

関連論文リスト

• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval [45.09142622162023]
  大規模言語モデル(LLM)は、不特定クエリを拡張し、テキストを密度の高い表現としてエンコードする。 単一デコーダのみのLLMエンドツーエンドをトレーニングし、同じモデルで拡張を生成し、拡張されたクエリと候補ドキュメントの両方をエンコードする。 文書埋め込み保存チューニング(DEPT)を導入し、キャッシュされた初期埋め込みに近づいた文書埋め込みを調整したままにしておく。
  論文  参考訳（メタデータ） (2026-08-18T10:52:08Z)
• Bridging the Structural Gap: Adapting Autoregressive Generation for Recommendation [10.616703360070359]
  Generative Recommendation (GR)は、シーケンシャルなレコメンデーションのための新しいパラダイムとして登場した。 本稿では、ICA(Item Context-Aware Attention)を用いて、エンコーディング中にアイテムレベルの構造を復元するBARGEを提案する。 公開ベンチマークと大規模なオフラインテストに関する実験と分析研究は、BARGEが優れたレコメンデーション性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-07-23T08:11:57Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• APCD: Adaptive Path-Contrastive Decoding for Reliable Large Language Model Generation [9.34156158035883]
  大規模言語モデル(LLM)は、自動回帰復号における誤りの蓄積による幻覚に悩まされることが多い。 適応探索と制御された経路相互作用により出力信頼性を向上させる多経路復号化フレームワークである適応パスコントラスト復号(APCD)を提案する。
  論文  参考訳（メタデータ） (2026-05-10T11:57:39Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference [44.87788417755154]
  本稿では,標準因果注意に基づく拡散復号化フレームワークWeDLMを提案する。 WeDLMは強力なARバックボーンの品質を維持しつつ,大幅な高速化を実現している。
  論文  参考訳（メタデータ） (2025-12-28T01:25:48Z)
• FastEagle: Cascaded Drafting for Accelerating Speculative Decoding [6.482154864678126]
  我々はFastEagleを紹介します。FastEagleは非自己回帰的なカスケードのドラフトで、ドラフト全体を1つのフォワードパスで出力します。 FastEagleは、競争力のある受け入れ動作を維持しながら、強力な自己回帰型ドラフトラに対して、ウォールタイムの大幅なスピードアップを提供する。
  論文  参考訳（メタデータ） (2025-09-24T09:38:32Z)
• cAST: Enhancing Code Retrieval-Augmented Generation with Structural Chunking via Abstract Syntax Tree [39.50252992647112]
  大規模コード生成にはRAG(Retrieval-Augmented Generation)が不可欠である。 我々の研究は、検索強化されたコードインテリジェンスをスケールする上で、構造対応のチャンキングの重要性を強調している。
  論文  参考訳（メタデータ） (2025-06-18T17:31:51Z)
• ProtInvTree: Deliberate Protein Inverse Folding with Reward-guided Tree Search [77.55575655986252]
  ProtInvTreeはタンパク質逆フォールディングのための報酬誘導ツリー検索フレームワークである。 シークエンス生成は、意図的に、ステップワイズな意思決定プロセスとして再構成される。 検索深度と幅を広げて、再トレーニングすることなく、フレキシブルなテストタイムスケーリングをサポートする。
  論文  参考訳（メタデータ） (2025-06-01T09:34:20Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• ASAG: Building Strong One-Decoder-Layer Sparse Detectors via Adaptive Sparse Anchor Generation [50.01244854344167]
  適応スパースアンカージェネレータ(ASAG)の提案により、スパース検出器と密度検出器のパフォーマンスギャップを橋渡しする。 ASAGは、グリッドではなくパッチの動的なアンカーを予測することで、機能競合の問題を軽減する。 提案手法は高密度な手法より優れ,高速かつ高精度なトレードオフを実現する。
  論文  参考訳（メタデータ） (2023-08-18T02:06:49Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。