論文の概要: EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction

• arxiv url: http://arxiv.org/abs/2606.27550v1
• Date: Thu, 25 Jun 2026 20:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.314238
• Title: EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction
• Title（参考訳）: EntMTP:Entropy Guided Multi Token PredictionによるLCM推論の高速化
• Abstract要約: マルチトークン予測は、トレーニング中にデータ密度を増加させ、下流のテキスト生成品質を向上し、自己投機的復号化のためのデファクトアプローチとして機能することが示されている。 MTPヘッドを使用する既存の基盤モデルとオープンソースモデルは、生成シーケンス全体を通して静的なツリーベースのアテンショントポロジにコミットする。 本研究では,局所生成エントロピーを推定したタスク固有パーレト最適木の集合から,木に基づく注目トポロジを切り替える訓練不要なスケジューラであるエントロピー誘導型マルチトークン予測(EntMTP)を提案する。
• 参考スコア（独自算出の注目度）: 0.2538209532048867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-token prediction has been shown to increase data density during training, improve downstream text-generation quality, and serves as the defacto approach for self-speculative decoding. Existing foundation and open source models that use MTP heads commit to a static tree-based attention topology throughout the entire generation sequence, meaning the speculation depth, and thus the compute required during verification, stays constant regardless of the context. This is fundamentally misaligned with the entropy patterns of natural language where low-entropy regions often support reliable multi-step drafting, while high-entropy regions require more conservative speculation. To address this, we propose Entropy-guided Multi-Token Prediction (EntMTP), a training-free scheduler that toggles between tree-based attention topologies from a set of task-specific pareto-optimal trees conditioned on a running estimate of local generation entropy. By matching speculation depth to context predictability, EntMTP maximizes expected accepted-token throughput across the full distribution of generated text without sacrificing generation quality. When evaluated across Humaneval, ShareGPT, GSM8k, and Litbench benchmarks, EntMTP consistently achieves a 1.15x speedup against Hydra and peak speedup of 1.36x against Medusa baselines respectively.
• Abstract（参考訳）: マルチトークン予測は、トレーニング中にデータ密度を増加させ、下流のテキスト生成品質を向上し、自己投機的デコードのためのデファクトアプローチとして機能することが示されている。 MTPヘッドを使用する既存の基礎モデルとオープンソースモデルは、生成シーケンス全体を通して静的なツリーベースのアテンショントポロジーにコミットする。 これは、低エントロピー領域が信頼できる多段階の起草を支援するのに対して、高エントロピー領域はより保守的な憶測を必要とする自然言語のエントロピーパターンと基本的には一致していない。 そこで本研究では,局所生成エントロピーのランニング推定を前提としたタスク固有パーレト最適木の集合から,木に基づくアテンショントポロジを切り替える訓練不要なスケジューラであるEntMTPを提案する。 推測深度と文脈予測可能性とを一致させることで、EntMTPは、生成したテキストの全分布にわたって期待される許容スループットを最大化し、生成品質を犠牲にしない。 Humaneval、ShareGPT、GSM8k、Litbenchのベンチマークで評価すると、EntMTPはHydraに対する1.15倍のスピードアップとMedusaベースラインに対する1.36倍のピークスピードアップを一貫して達成している。

関連論文リスト

• AdaMTP: An Adaptive Training Paradigm for Multi-Token Prediction [32.62594861280837]
  MTP(Multi-Token Prediction)は,大規模言語モデルのバックボーンを補助的ヘッドで拡張する,効果的なパラダイムとして登場した。 本稿では,適応学習パラダイムであるAdaMTPを提案する。 AdaMTPは3つのバックボーン上の数学的推論、コード生成、一般的なベンチマークを通じて、タスクパフォーマンスと推論スピードアップの両方において、標準のMPPよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-08-01T04:18:49Z)
• QuantFlow: A Federated Mamba-Based Post-Transformer Foundation Model for Time-Series Forecasting [0.0]
  時系列予測は、金融、エネルギー、輸送、公衆衛生、産業監視における決定を支援する。 最近の基礎モデルは予測タスク間の転送を改善するが、その多くは集中的なデータとトランスフォーマーの注意に依存している。 本稿では, 逆列埋め込み, 双方向マンバ状態空間デコーダ, 量子回帰, フェデレーション学習を組み合わせた確率予測フレームワークQuantFlowを提案する。
  論文  参考訳（メタデータ） (2026-07-02T14:16:48Z)
• P-MTP: Efficient Document Parsing via Multi-Token Prediction with Progressive Depth Scaling [9.276742450240961]
  VLM(Vision-Language Models)は、画像から構造化テキストへのエンドツーエンドマッピングを可能にすることで、文書解析に革命をもたらした。 MTP(Multi-Token Prediction)は推論を高速化するための有望なアプローチとして登場したが、そのポテンシャルはより深いルックアヘッドまでスケーリングする際の最適化不安定性によって制約されている。 我々は,textbf Multi-Token Prediction を軽量な MTP モジュールで活用し,ルックアヘッド深度を拡大する textbfP-MTP を提案する。
  論文  参考訳（メタデータ） (2026-06-23T11:34:28Z)
• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• Nexus : An Agentic Framework for Time Series Forecasting [72.73790673303154]
  時系列予測は、ニュースやイベントのような構造化されていないコンテキストデータによる推論を必要とする。 予測を特殊なステージに分解するマルチエージェント予測フレームワークであるNexusを紹介します。 本研究では,現在のLLMは,従来よりも強い固有予測能力を有することを示す。
  論文  参考訳（メタデータ） (2026-05-14T05:12:13Z)
• How Transformers Learn to Plan via Multi-Token Prediction [33.974020982252206]
  次世代予測(NTP)の代替としてMulti-token Prediction(MTP)が登場した。 MTP は合成グラフパスフィニングタスクとより現実的な推論ベンチマークの両方において NTP を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-13T18:04:09Z)
• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• SAGE: Accelerating Vision-Language Models via Entropy-Guided Adaptive Speculative Decoding [15.734450444255787]
  投機的復号化は、視覚言語モデルにおける推論を加速するための有望なアプローチとして現れている。 既存のメソッドはデコードプロセスを通して固定されている静的ツリー構造に依存している。 実時間予測の不確実性に基づいて投機木構造を動的に調整する新しいフレームワークであるSAGEを提案する。
  論文  参考訳（メタデータ） (2026-01-31T05:35:40Z)
• A high-capacity linguistic steganography based on entropy-driven rank-token mapping [81.29800498695899]
  言語ステガノグラフィーは、秘密のメッセージを無害なテキストに埋め込むことによって、秘密のコミュニケーションを可能にする。 従来の修正ベースの手法は検出可能な異常を導入し、検索ベースの戦略は埋め込み能力の低下に悩まされている。 本稿では、ランクベース適応符号化と文脈認識の圧縮を正規化エントロピーと統合したRTMStegaというエントロピー駆動のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-27T06:02:47Z)
• Personalized Tree-Based Progressive Regression Model for Watch-Time Prediction in Short Video Recommendation [10.431290400349052]
  時計時間予測の精度は、時計時間ラベルの変換と推定過程の分解に大きく依存する。 TPM(Tree based Progressive Regression Model)は、慎重に設計され効果的な分解パラダイムを用いて、最先端のパフォーマンスを達成する。 条件付きモデルにより,TPMは選択バイアスに悩まされ,簡単な解法が提案される。
  論文  参考訳（メタデータ） (2025-05-28T09:18:48Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Back to MLP: A Simple Baseline for Human Motion Prediction [59.18776744541904]
  本稿では、歴史的に観察されたシーケンスから将来の身体のポーズを予測することによる、人間の動作予測の課題に取り組む。 これらの手法の性能は、0.14Mパラメータしか持たない軽量で純粋にアーキテクチャアーキテクチャによって超えることができることを示す。 Human3.6M, AMASS, 3DPWデータセットの徹底的な評価は, siMLPeをダブした我々の手法が, 他のアプローチよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2022-07-04T16:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。