論文の概要: BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models

• arxiv url: http://arxiv.org/abs/2610.28500v1
• Date: Tue, 20 Oct 2026 16:42:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.924632
• Title: BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models
• Title（参考訳）: BitMTP: マルチトークン予測が低ビット大言語モデルに遭遇する時
• Abstract要約: BitMTPは、超低ビット大言語モデルの効率的な計算のためのアルゴリズムとシステムの共同設計フレームワークである。 バックボーン、モデルサイズ、タイプにまたがる超低ビットLCM生成を加速する。
• 参考スコア（独自算出の注目度）: 21.613901286454524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For efficient deployment of large language models (LLMs), methods of ultra-low-bit backbones reduce weight storage, memory traffic, and linear-layer execution cost, while multi-token prediction (MTP) methods reduce sequential decoding steps by predicting multiple future tokens in parallel. Although complementary, the direct combination of these methods cannot accelerate decoding at comparable quality: masked drafting lacks intermediate token input supplied in next-token training, while wider computation and causal key-value (KV) updates can offset the savings from fewer steps. To address these challenges, we propose BitMTP, an algorithm-system co-design framework for efficient MTP on ultra-low-bit LLM backbones. A joint next-token prediction and MTP objective equips a single model with both autoregressive (AR) generation and block-causal drafting. Confidence-only decoding, speculative-only decoding, and hybrid decoding provide different quality-throughput operating points without using separate draft and verifier models. Accepted-prefix alignment keeps the committed prefix, materialized causal KV boundary, and CUDA Graph replay state consistent for continued generation. BitMTP uses this contract to select width-specialized low-bit execution and reuse captured graphs over shared KV storage. On NVIDIA H20, BitMTP with hybrid decoding achieves five-task mean speedups of 2.2x on BitNet b1.58-2B and 2.1-2.4x on 1.7B-4B Bonsai models at comparable task quality. On RTX 3090 and Jetson Orin, it further achieves up to 2.0x in five-task mean throughput and 3.3x on MBPP+, respectively. These results demonstrate that BitMTP accelerates ultra-low-bit LLM generation across backbones, model sizes, and GPU types. The source code is released at https://github.com/PolyU-VCLab/BitMTP
• Abstract（参考訳）: 大規模言語モデル(LLM)の効率的な展開のために、超低ビットバックボーンの手法は重み付け、メモリトラフィック、線形層実行コストを削減し、マルチトークン予測(MTP)手法は複数の将来トークンを並列に予測することでシーケンシャルデコードステップを削減した。 マスク付きドラフトは、次の訓練で供給される中間トークン入力を欠いているが、より広い計算と因果キー値(KV)の更新は、より少ないステップからセーブをオフセットすることができる。 これらの課題に対処するため,超低ビットLLMバックボーン上で効率的なMPPを実現するためのアルゴリズム・システム協調設計フレームワークBitMTPを提案する。 連立次トーケン予測と MTP の目標は、自己回帰(AR)生成とブロック因果的起草の両方を単一モデルに装備する。 信頼のみの復号化、投機のみの復号化、ハイブリッド復号化は、異なるドラフトと検証モデルを用いることなく、異なる品質の復号化操作ポイントを提供する。 アクセプト-プレフィックスアライメントは、コミットプレフィックス、物質化された因果KV境界、およびCUDA Graphリプレイステートを継続生成に一貫性を持って保持する。 BitMTPはこの契約を利用して、幅指定された低ビット実行を選択し、共有KVストレージ上でキャプチャされたグラフを再利用する。 NVIDIA H20では、ハイブリッドデコーディングを備えたBitMTPが、BitNet b1.58-2Bで2.2倍、および1.7B-4B Bonsaiモデルで2.1-2.4倍の5タスク平均高速化を実現している。 RTX 3090とJetson Orinでは、5タスク平均スループットで最大2.0倍、MBPP+で3.3倍となる。 これらの結果から、BitMTPはバックボーン、モデルサイズ、GPUタイプにわたる超低ビットLLM生成を加速することが示された。 ソースコードはhttps://github.com/PolyU-VCLab/BitMTPで公開されている。

関連論文リスト

• BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration [31.12541387045665]
  BitNestは、高精度なターゲット表現に直接、低精度のドラフトを組み込む。 FP16の自己回帰復号よりも1.48--1.61倍のエンドツーエンドの高速化を実現している。
  論文  参考訳（メタデータ） (2026-10-02T04:43:42Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models [95.53699156138435]
  本稿では,革新的なトークン予測手法である跳躍マルチトークン予測(L-MTP)を提案する。 従来のMTPとは異なり、L-MTPは中間トークンを戦略的にスキップし、1つのフォワードパスで非逐次トークンを予測する。 理論的には,L-MTPによる推論効率の向上の利点を実証する。
  論文  参考訳（メタデータ） (2025-05-23T05:59:46Z)
• Optimized Multi-Token Joint Decoding with Auxiliary Model for LLM Inference [41.93955876156331]
  大規模言語モデル(LLM)は様々なタスクで顕著な成功を収めた。 推論プロセスは、デコードの各ステップにおける単一トーケン生成により、相当な時間とエネルギー要求によって妨げられる。 MTJD を高速化する新しいフレームワークである Multi-token Assisted Decoding (MTAD) を導入する。
  論文  参考訳（メタデータ） (2024-07-12T23:29:54Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。