論文の概要: ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.17241v1
• Date: Tue, 15 Sep 2026 14:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.56566
• Title: ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding
• Title（参考訳）: ECHO: 投機的デコーディングにおける初期階層的階層的オーケストレーションとボーナスロジット
• Abstract要約: ECHOは、LLM層間の機能的非対称性を利用する階層的なデュアルループフレームワークである。 インナーループ内では、アーリーレイヤのボーナスロジットは、最小限のコストで、高速で多段階のドラフトツリー探索を駆動する。 ECHOは平均的なトークンを著しく増加させ、2.4$times$2.9$times$スピードアップを達成する。
• 参考スコア（独自算出の注目度）: 60.34475274870224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While draft-model-free speculative decoding offers a promising path to efficient LLM inference, it is frequently constrained by stale draft candidates and the high computational cost of the verification. To address these challenges, we propose ECHO, a hierarchical dual-loop framework that exploits the functional asymmetry between LLM layers. Leveraging the high discriminative efficiency of early layers and the authoritative distribution of final layers, ECHO bifurcates inference into a high-frequency inner loop and a low-frequency outer loop. Within the inner loop, early-layer bonus logits drive rapid, multi-step draft-tree exploration at a minimal cost. Simultaneously, the outer loop performs authoritative full-model verification through a state-reuse mechanism. Crucially, the outer loop also utilizes final-layer bonus logits to correct existing paths and supplement the tree with high-confidence candidates for subsequent cycles. Experimental results across diverse benchmarks demonstrate that ECHO significantly boosts mean accepted tokens and achieves a 2.4$\times$ to 2.9$\times$ speedup, outperforming existing state-of-the-art baselines with negligible engineering overhead and no extra deployment parameters, albeit with a one-shot fine-tuning dependency for optimal acceleration. The code is available at https://github.com/whucs21Mzy/ECHO.
• Abstract（参考訳）: ドラフトモデルフリーな投機的復号法は、効率的なLLM推論への有望な経路を提供するが、古いドラフト候補と高い検証コストによってしばしば制約される。 これらの課題に対処するために,LLM層間の機能的非対称性を利用する階層型デュアルループフレームワークECHOを提案する。 初期層の高い識別効率と最終層の権威分布を活用して、ECHOは高周波内ループと低周波外ループへの推論を行う。 インナーループ内では、アーリーレイヤのボーナスロジットは、最小限のコストで、高速で多段階のドラフトツリー探索を駆動する。 同時に、外部ループは、状態再利用機構を通じて権威のあるフルモデル検証を行う。 重要なことに、外側のループは、最終層のボーナスロジットを使用して既存のパスを修正し、その後のサイクルの信頼性の高い候補で木を補う。 さまざまなベンチマークによる実験結果から、ECHOは平均的なトークンを著しく向上させ、2.4$\times$2.9$\times$スピードアップを実現し、技術的オーバーヘッドが無視できる上に、追加のデプロイメントパラメータも無く既存の最先端ベースラインを上回った。 コードはhttps://github.com/whucs21Mzy/ECHOで公開されている。

関連論文リスト

• Flash-BoN: Instant Drafts for Inference-Time Scaling in Diffusion Models [91.19049123903137]
  テキストから画像への推論時間のスケーリングは、単純なBest-of-N$サンプリングからガイド付き検索方法まで進歩している。 これらのアプローチは、いつ、どの程度の頻度でデノベーションを行うかに焦点が当てられているが、生成自体のコストを固定として扱うのがほとんどである。 ウォールクロック評価では、単純なBoNが既にいくつかのガイド付き検索手法に適合または優れていたことを示す。
  論文  参考訳（メタデータ） (2026-07-05T19:02:32Z)
• Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
  LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。 この定式化がモデリングのボトルネックを生み出すことを示す。 コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
  論文  参考訳（メタデータ） (2026-05-14T18:30:10Z)
• ECHO: Elastic Speculative Decoding with Sparse Gating for High-Concurrency Scenarios [12.103618967955846]
  投機的復号化は、大規模言語モデルの推論を加速することを約束するが、その有効性はプロダクショングレードのサービスでしばしば低下する。 我々はSGLangに統合された高機能なフレームワークであるECHOを導入し、予算スケジューリング問題として投機的実行を再構成する。 ECHOは低負荷と高負荷の両方のシナリオでSOTA法を一貫して上回り、最大5.35倍のウォールタイムスピードアップを実現し、20%以上の相対的なスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-03-10T03:51:24Z)
• FineRMoE: Dimension Expansion for Finer-Grained Expert with Its Upcycling Approach [58.345210583013454]
  FineRMoEは、細粒度の専門家設計を中間次元と出力次元の両方に拡張するアーキテクチャである。 パラメータ効率の6倍、プリフィルレイテンシの281倍、推論時の復号スループットの136倍を実現している。
  論文  参考訳（メタデータ） (2026-03-09T12:00:36Z)
• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• SuffixDecoding: Extreme Speculative Decoding for Emerging AI Applications [13.948608558319307]
  投機的復号化は、大規模言語モデル(LLM)推論の遅延を低減するために広く採用されている。 エージェントフレームワークは繰り返しの推論要求を送信し、その結果、長く予測可能な計算結果が得られる。 本稿では,効率的な接尾辞木を用いて長いトークン列をキャッシュする新しい手法であるemphSuffixDecodingを紹介する。
  論文  参考訳（メタデータ） (2024-11-07T18:49:33Z)
• Non-stationary Delayed Online Convex Optimization: From Full-information to Bandit Setting [71.82716109461967]
  遅延勾配が利用できる全情報ケースに対して Mild-OGD というアルゴリズムを提案する。 ミルド-OGDのダイナミックな後悔は、順番の仮定の下で$O(sqrtbardT(P_T+1))$で自動的に束縛されることを示す。 Mild-OGDのバンディット版も開発し,損失値の遅れのみを考慮に入れた,より困難なケースについて検討した。
  論文  参考訳（メタデータ） (2023-05-20T07:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。