論文の概要: MPQ: A Message-Passing View of Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2610.32127v1
• Date: Fri, 23 Oct 2026 03:54:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.339194
• Title: MPQ: A Message-Passing View of Post-Training Quantization
• Title（参考訳）: MPQ:ポストトレーニング量子化のメッセージパッシングビュー
• Abstract要約: ポストトレーニング量子化(PTQ)は、大規模言語モデルを効率的にデプロイするための鍵となる技術である。 本稿では,提案するMPQ(Message-Passing Quantization)を提案する。 MPQは強硬度ベースラインよりも難易度とゼロショット精度を向上させる。
• 参考スコア（独自算出の注目度）: 46.26895944673697
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Post-training quantization (PTQ) is a key technique for efficiently deploying large language models, as it compresses weights into low-bit representations without retraining. Existing PTQ solvers, including GPTQ, LDLQ, and block coordinate descent, commit each weight block to a single codeword before its neighbors are considered, leaving near-optimal alternatives unexplored. In this work, we cast row-wise PTQ as posterior inference over discrete codebooks, in which existing solvers correspond to a zero-temperature, hard-decision limit retaining only the top codeword per block. We propose Message-Passing Quantization (MPQ), which preserves soft posterior information across blocks during inference and commits to hard codewords only at the output stage. MPQ first uses vector approximate message passing to compute approximate blockwise posteriors, then refines a hard-decision initialization by exact block coordinate descent. Across 2-bit lattice and 3- and 4-bit scalar quantization on dense language models from Llama, Qwen, and Mistral families, MPQ improves perplexity and zero-shot accuracy over strong hard-decision baselines, and composes favorably with preprocessing techniques such as activation-aware scaling and incoherence processing. Our implementation is available at https://github.com/poseidonchan/MPQ.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、重みをリトレーニングせずに低ビット表現に圧縮するため、大きな言語モデルを効率的にデプロイする鍵となる技術である。 GPTQ、LDLQ、ブロック座標降下を含む既存のPTQソルバは、各重みブロックを隣人が検討される前に1つのコードワードにコミットする。 本研究では,各ブロックごとのトップコードワードのみを保持するゼロ温度のハード・ディシジョン・リミットに対応する離散コードブックに対して,行ワイズPTQを後部推論としてキャストする。 本稿では,提案するMPQ(Message-Passing Quantization)を提案する。 MPQは、まずベクトル近似メッセージパッシングを使用して、近似ブロックの後方を計算し、次に、正確なブロック座標の降下によるハード決定初期化を洗練する。 Llama、Qwen、Mistralファミリーの高密度言語モデルの2ビット格子と3ビットおよび4ビットスカラー量子化により、MPQは強力なハード決定ベースラインよりも難易度とゼロショット精度を改善し、アクティベーション対応スケーリングや非コヒーレンス処理といった前処理技術に好適に構成する。 実装はhttps://github.com/poseidonchan/MPQ.comで公開しています。

関連論文リスト

• LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
  ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-28T11:02:23Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference [8.136601122570347]
  後学習量子化(PTQ)は、より大きな言語モデル(LLM)のストレージと計算要求を、追加のトレーニングコストなしで削減するための有望なアプローチである。 最近のPTQ研究は、主に8ビット以上の活性化を維持しながら、重量のみを8ビット未満に定量化することに焦点を当てている。
  論文  参考訳（メタデータ） (2025-02-07T23:06:03Z)
• QTIP: Quantization with Trellises and Incoherence Processing [29.917017118524246]
  後トレーニング量子化(PTQ)は、LLMのメモリフットプリントを削減する。 最近の最先端のPTQアプローチでは、ベクトル量子化(VQ)を使用して複数の重みを同時に定量化している。 超高次元量子化を実現するためにトレリス符号化量子化(TCQ)を用いるQTIPを導入する。
  論文  参考訳（メタデータ） (2024-06-17T06:03:13Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。