論文の概要: HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding

• arxiv url: http://arxiv.org/abs/2505.13254v1
• Date: Mon, 19 May 2025 15:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.704524
• Title: HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding
• Title（参考訳）: HeteroSpec: 効率的な投機的デコーディングのためのコンテキスト不均一性を活用する
• Authors: Siran Liu, Yang Ye, Qianchao Zhu, Zheng Cao, Yongchao He,
• Abstract要約: HeteroSpecは異種適応型投機的復号化フレームワークである。 5つのベンチマークと4つのモデルで評価しました ドラフトモデルの再トレーニングを必要とせず、オーバーヘッドを最小限に抑え、他のアクセラレーションテクニックも必要です。
• 参考スコア（独自算出の注目度）: 6.211711244698551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive decoding, the standard approach for Large Language Model (LLM) inference, remains a significant bottleneck due to its sequential nature. While speculative decoding algorithms mitigate this inefficiency through parallel verification, they fail to exploit the inherent heterogeneity in linguistic complexity, a key factor leading to suboptimal resource allocation. We address this by proposing HeteroSpec, a heterogeneity-adaptive speculative decoding framework that dynamically optimizes computational resource allocation based on linguistic context complexity. HeteroSpec introduces two key mechanisms: (1) A novel cumulative meta-path Top-$K$ entropy metric for efficiently identifying predictable contexts. (2) A dynamic resource allocation strategy based on data-driven entropy partitioning, enabling adaptive speculative expansion and pruning tailored to local context difficulty. Evaluated on five public benchmarks and four models, HeteroSpec achieves an average speedup of 4.26$\times$. It consistently outperforms state-of-the-art EAGLE-3 across speedup rates, average acceptance length, and verification cost. Notably, HeteroSpec requires no draft model retraining, incurs minimal overhead, and is orthogonal to other acceleration techniques. It demonstrates enhanced acceleration with stronger draft models, establishing a new paradigm for context-aware LLM inference acceleration.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論の標準的なアプローチである自己回帰復号法は、そのシーケンシャルな性質のため、依然として大きなボトルネックとなっている。 投機的復号アルゴリズムは並列検証によってこの非効率性を緩和するが、言語的複雑さにおける固有の不均一性(英語版)を活用できない。 HeteroSpecは言語文脈の複雑さに基づいて動的に計算資源割り当てを最適化する異質性適応型投機的復号化フレームワークである。 HeteroSpecは、(1)予測可能なコンテキストを効率的に識別するための新しい累積メタパス Top-$K$エントロピーメトリック。 2)データ駆動型エントロピーパーティショニングに基づく動的資源配分戦略により,局所的コンテキストの難易度に合わせて,適応的投機的拡張と刈取を可能にする。 5つの公開ベンチマークと4つのモデルで評価され、平均速度は4.26$\times$である。 スピードアップ速度、平均受入距離、検証コストで最先端のEAGLE-3を上回っている。 特に、HeteroSpecはドラフトモデルの再トレーニングを必要とせず、最小限のオーバーヘッドを発生させ、他のアクセラレーションテクニックと直交する。 より強力なドラフトモデルによる拡張アクセラレーションを示し、コンテキスト対応のLLM推論アクセラレーションのための新しいパラダイムを確立する。

関連論文リスト

• On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding [53.55135022958052]
  閉集合行動理解のためのGAD(Generation-Assisted Discriminative Discriminative)を提案する。 GADは微調整時にのみ動作し、MLLMの事前訓練と完全な互換性を保つ。 時間的行動理解ベンチマークの実験により、GADは生成法よりも精度と効率を向上することが示された。
  論文  参考訳（メタデータ） (2026-03-03T03:02:01Z)
• Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
  大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。 実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。 本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:30:40Z)
• Beyond Tokens: Semantic-Aware Speculative Decoding for Efficient Inference by Probing Internal States [14.780400014944926]
  大規模言語モデル(LLM)は多くのタスクで高いパフォーマンスを達成するが、自動回帰復号化による高い推論遅延に悩まされる。 トークンの代わりにセマンティックシークエンス全体を検証するセマンティックス(SemanticSpec)を提案する。
  論文  参考訳（メタデータ） (2026-02-03T16:30:30Z)
• Overcoming Joint Intractability with Lossless Hierarchical Speculative Decoding [58.92526489742584]
  我々は無益な無益な提案をする。 承認されたトークンの数を大幅に増加させる検証方法。 HSDは様々なモデルファミリやベンチマークの受け入れ率に一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-09T11:10:29Z)
• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation [2.8646222242803643]
  我々はセマンティックトライアングルを導入し、解間の正確な検証可能なマッピングを保持する方法でプログラミング問題を変換する。 LiveCodeBenchとCodeEloのベンチマークでは、セマンティックトライアングルによって生成されたコードの信頼性が21%向上している。 また、複数の有効だが等価でない解を持つタスクに対して、真のコンセンサスを一貫して形成する唯一のアプローチでもある。
  論文  参考訳（メタデータ） (2025-11-15T16:45:14Z)
• Lookahead Unmasking Elicits Accurate Decoding in Diffusion Language Models [51.12873073612084]
  Masked Diffusion Models (MDM) は、反復的にトークンをアンマキングすることで生成される言語モデルであるが、その性能はアンマキングの推測時間順序に依存する。 提案するLookUM(LookUM)は,これらの問題に対処し,サンプリングを可能な全注文に対して経路選択として再構成する。 LookUMはピーク性能を達成するために2～3つの経路しか必要とせず、極めて効率的な経路選択を示す。
  論文  参考訳（メタデータ） (2025-11-04T02:37:37Z)
• CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
  大規模言語モデルに対する文脈対応適応型復号法を提案する。 当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。 モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
  論文  参考訳（メタデータ） (2025-08-04T08:28:25Z)
• Scaling Linear Attention with Sparse State Expansion [58.161410995744596]
  トランスフォーマーアーキテクチャは、2次計算と線形メモリ成長による長期コンテキストシナリオに苦慮している。 本稿では,情報分類として状態更新を概念化し,線形注意のための行スパース更新定式化を提案する。 次に、スパースフレームワーク内にスパース状態拡張(SSE)を示し、コンテキスト状態を複数のパーティションに拡張する。
  論文  参考訳（メタデータ） (2025-07-22T13:27:31Z)
• An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
  Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。 既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。 短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。 さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
  論文  参考訳（メタデータ） (2025-07-18T10:07:42Z)
• Singular Value Decomposition on Kronecker Adaptation for Large Language Model [0.8747606955991707]
  大規模な事前訓練されたトランスフォーマーモデルは、様々な言語や推論タスクにまたがって最先端の結果が得られる。 完全な微調整は、かなりのストレージ、メモリ、計算オーバーヘッドを発生させる。 我々は, Kronecker-product tensor factorization と SVD-driven initialization と Dynamic rank selection を組み合わせた新しい PEFT 戦略である SoKA を提案する。
  論文  参考訳（メタデータ） (2025-06-18T08:28:53Z)
• S$^4$C: Speculative Sampling with Syntactic and Semantic Coherence for Efficient Inference of Large Language Models [38.784951111677856]
  大規模言語モデル(LLM)は、様々な下流タスクにまたがる顕著な推論能力を示す。 その自己回帰的な性質は、相当なレイテンシ推論をもたらし、リアルタイムアプリケーションに課題を提起する。 マルチヘッドドラフトを利用して投機的サンプリングを拡張するSyntactic and Semantic Coherenceフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-17T03:38:19Z)
• SpecRouter: Adaptive Routing for Multi-Level Speculative Decoding in Large Language Models [21.933379266533098]
  大規模言語モデル(LLM)は、推論品質と計算コストの間に重要なトレードオフをもたらす。 既存のサービス戦略では、固定されたモデルスケールや静的な2段階の投機的デコードを用いることが多い。 本稿では,LLM推論を適応的ルーティング問題として再定義する新しいフレームワークであるsystemnameを紹介する。
  論文  参考訳（メタデータ） (2025-05-12T15:46:28Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Towards Optimal Multi-draft Speculative Decoding [102.67837141152232]
  MDSD(Multi-Draft Speculative Decoding)は、各トークンを生成する際に、小さなドラフトモデルで複数のドラフトを生成する手法である。 本稿では、最適輸送問題の双対性について論じ、最適受容率を効率的に計算する方法を提供する。
  論文  参考訳（メタデータ） (2025-02-26T03:22:44Z)
• Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
  投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。 本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。 提案手法は予測精度を大幅に向上し,推論高速化を実現する。
  論文  参考訳（メタデータ） (2025-02-10T09:24:06Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Transducer Consistency Regularization for Speech to Text Applications [4.510630624936377]
  本稿では,トランスデューサモデルの整合正則化手法であるTransducer Consistency Regularization (TCR)を提案する。 作業確率を利用してトランスデューサ出力分布に異なる重みを与えるので、オラクルアライメントに近いアライメントのみがモデル学習に寄与する。 提案手法は他の整合正規化実装よりも優れていることを示すとともに,textscLibrispeechデータセットの強いベースラインと比較して,単語誤り率(WER)を4.3%削減できることを示した。
  論文  参考訳（メタデータ） (2024-10-09T23:53:13Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• Rich Feature Construction for the Optimization-Generalization Dilemma [18.721567020497968]
  我々は、モデルで使用できる潜在的に有用な機能のパレットを含むリッチな表現(RFC)を構築する。 RFCは、6つのOoDメソッドが挑戦的な不変トレーニングベンチマークで最高のパフォーマンスを達成するのを一貫して支援します。 現実的な Camelyon17 タスクでは,OoD と OoD の両手法が,従来の計算可能な結果に対して少なくとも 5% 以上の性能を発揮する。
  論文  参考訳（メタデータ） (2022-03-24T20:39:33Z)
• On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
  任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。 特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。 コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
  論文  参考訳（メタデータ） (2022-01-27T20:43:38Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。