Fugu-MT 論文翻訳(概要): Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization of Mixture-of-Experts LLMs

論文の概要: Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization of Mixture-of-Experts LLMs

arxiv url: http://arxiv.org/abs/2608.30564v1
Date: Mon, 31 Aug 2026 10:39:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.35365
Title: Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization of Mixture-of-Experts LLMs
Title（参考訳）: Q-Strata:Mixture-of-Experts LLMの混合精度量子化のための階層的ビット割り当て
Abstract要約: 本稿では,ブロック内の割り当てを低コストなプロキシでランク付けし,ブロック間を割り当てるバイレベルアロケータを提案する。 Q-Strataは、一様ビット幅のGPTQや最先端のMoE MPQメソッドよりもWikiText2の難易度が低い。
参考スコア（独自算出の注目度）: 14.060304246423575
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mixed-precision quantization (MPQ) assigns a different bitwidth to each linear layer of a large language model (LLM) to minimize the quantization-induced quality loss under a fixed budget, but Mixture-of-Experts (MoE) models contain these layers in every expert of every MoE block, so the allocation space grows far larger than in a dense model. Existing methods either allocate within each block under a uniform per-block budget, or allocate across blocks through an additive proxy, and neither directly optimizes a model-level objective over the choices that couple the blocks. We propose Q-Strata, a bi-level allocator that ranks within-block assignments with a cheap proxy and allocates across blocks with a model-level objective evaluated on the assembled quantized model. Its inner stage caches a Pareto frontier of candidates per block over finely spaced budgets, leaving the outer stage to set one budget per block instead of a bitwidth for every linear layer. With the search reduced to one budget per block, the outer stage optimizes this model-level objective directly, capturing the inter-block coupling that additive proxies miss. On Mixtral-8x7B-Instruct, Qwen1.5-MoE-A2.7B, and DeepSeek-V2-Lite, Q-Strata consistently achieves lower WikiText2 perplexity than uniform-bitwidth GPTQ and the state-of-the-art MoE MPQ methods MxMoE and GEMQ in the low-bit regime. The code is available at https://github.com/snu-mllab/Q-Strata/tree/main.
Abstract（参考訳）: 混合精度量子化(MPQ)は、大きな言語モデル(LLM)の各線形層に異なるビット幅を割り当て、固定予算下での量子化による品質損失を最小限にするが、Mixture-of-Experts(MoE)モデルはすべてのMoEブロックの専門家にこれらの層を含むため、割当空間は密度の高いモデルよりもはるかに大きくなる。既存のメソッドはブロックごとに均一な予算の下で各ブロック内に割り当てるか、追加プロキシを通じてブロックをまたいで割り当てるか、ブロックを結合する選択に対してモデルレベルの目的を直接最適化する。 Q-Strataは、安価なプロキシでブロック内の割り当てをランク付けし、集約された量子化モデルで評価されたモデルレベルのオブジェクトでブロック間を割り当てるバイレベルアロケータである。内側のステージは細かな間隔の予算でブロック毎の候補者のパレートフロンティアをキャッシュし、外側のステージはすべての線形層に対してビット幅ではなくブロック毎の予算を設定する。探索をブロック毎に1つの予算に減らすと、外段はこのモデルレベルの目的を直接最適化し、加法プロキシが見逃すブロック間結合をキャプチャする。 Mixtral-8x7B-Instruct、Qwen1.5-MoE-A2.7B、DeepSeek-V2-Liteでは、Q-Strataは、一様ビット幅のGPTQと最先端のMoE MPQメソッドであるMxMoEとGEMQよりもずっと低いWikiText2パープレキシティを実現している。コードはhttps://github.com/snu-mllab/Q-Strata/tree/mainで公開されている。

関連論文リスト

FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models [16.404926372068047]
ブロックワイド拡散大言語モデル (dLLM) はブロックレベルで逐次デコードし、ブロック間で有効なKVキャッシュの再利用を可能にするが、ブロック間デコーディングを厳密にシリアライズする。 2つのメカニズム上に構築されたトレーニング不要な並列デコーディングフレームワークである textbfflowblock を提案する。 LLaDA-2.1とLLaDA-2.0の2つのシリアルブロック単位のdLLMを最大2.95$times$と4.01$times$に改善し、レイテンシを最大53.6%、77.1%削減した。
論文参考訳（メタデータ） (2026-07-20T08:05:03Z)
Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文参考訳（メタデータ） (2026-06-05T14:00:47Z)
LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
論文参考訳（メタデータ） (2026-05-28T11:02:23Z)
BAMBO: Construct Ability and Efficiency LLM Pareto Set via Bayesian Adaptive Multi-objective Block-wise Optimization [4.196004665145396]
BAMBO(Bayesian Adaptive Multi-objective Block-wise Optimization)は、大規模言語モデル(LLM)を自動的に構築する新しいフレームワークである。 1次元クラスタリング問題として定式化されたこの戦略は、動的プログラミング手法を利用してブロック内およびブロック間情報の分散を最適にバランスさせる。
論文参考訳（メタデータ） (2025-12-10T15:32:56Z)
MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on Large Language Models [53.36415620647177]
半構造化された空間は、M$M$の重みからN$の要素を戦略的に保持することで、有望なソリューションを提供する。既存の(N:M)互換のアプローチは通常、かなりのエラーに悩まされるルールベースの階層的な欲求探索と、禁止的なトレーニングコストを引き起こす勾配駆動学習の2つのカテゴリに分類される。 MaskProという新しい線形空間確率的フレームワークを提案する。これは、M$連続重みごとに事前のカテゴリー分布を学習し、その後、この分布を活用して(N:M)スパーシリティを$N$-wayサンプリングを通じて生成することを目的としている。
論文参考訳（メタデータ） (2025-06-15T15:02:59Z)
Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
論文参考訳（メタデータ） (2025-05-08T00:08:31Z)
SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文参考訳（メタデータ） (2023-12-13T07:56:27Z)
Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。