論文の概要: Matryoshka Quantization

• arxiv url: http://arxiv.org/abs/2502.06786v1
• Date: Mon, 10 Feb 2025 18:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:20.817975
• Title: Matryoshka Quantization
• Title（参考訳）: Matryoshka (複数形 Matryoshkas)
• Authors: Pranav Nair, Puranjay Datta, Jeff Dean, Prateek Jain, Aditya Kusupati,
• Abstract要約: モデル重みの量子化は、大きなモデルの通信と推論コストを低減するために重要である。 Matryoshka Quantization (MatQuant)は、複数の量子化モデルを必要とする課題に対処する、新しいマルチスケール量子化技術である。 MatQuantは標準のInt2量子化よりも10%$精度が高い。
• 参考スコア（独自算出の注目度）: 19.46665026740268
• License:
• Abstract: Quantizing model weights is critical for reducing the communication and inference costs of large models. However, quantizing models -- especially to low precisions like int4 or int2 -- requires a trade-off in model quality; int2, in particular, is known to severely degrade model quality. Consequently, practitioners are often forced to maintain multiple models with different quantization levels or serve a single model that best satisfies the quality-latency trade-off. On the other hand, integer data types, such as int8, inherently possess a nested (Matryoshka) structure where smaller bit-width integers, like int4 or int2, are nested within the most significant bits. This paper proposes Matryoshka Quantization (MatQuant), a novel multi-scale quantization technique that addresses the challenge of needing multiple quantized models. It allows training and maintaining just one model, which can then be served at different precision levels. Furthermore, due to the co-training and co-distillation regularization provided by MatQuant, the int2 precision models extracted by MatQuant can be up to $10\%$ more accurate than standard int2 quantization (using techniques like QAT or OmniQuant). This represents significant progress in model quantization, demonstrated by the fact that, with the same recipe, an int2 FFN-quantized Gemma-2 9B model is more accurate than an int8 FFN-quantized Gemma-2 2B model.
• Abstract（参考訳）: モデル重みの量子化は、大きなモデルの通信と推論コストを低減するために重要である。 しかし、特に int4 や int2 のような低い精度でモデルを定量化するには、モデル品質のトレードオフが必要となる。 その結果、実践者は、異なる量子化レベルを持つ複数のモデルを維持することや、品質とレイテンシのトレードオフを最も満足する単一のモデルを提供することを余儀なくされる。 一方、 int8 のような整数データ型は本質的には int4 や int2 のような小さなビット幅の整数が最も重要なビット内にネストされるネスト(マトリシカ)構造を持っている。 本稿では,複数の量子化モデルを必要とする課題に対処する,新しいマルチスケール量子化手法であるMatryoshka Quantization(MatQuant)を提案する。 1つのモデルのみをトレーニングし、メンテナンスすることが可能で、異なる精度レベルで提供することができる。 さらに、MatQuantによるコトレーニングと共蒸留の正則化により、MatQuantによって抽出されたint2精度モデルは、標準のint2量子化(QATやOmniQuantのような技術)よりも最大10\%の精度を持つことができる。 これは、同じレシピで、int2 FFN量子化 Gemma-2 9B モデルが int8 FFN量子化 Gemma-2 2B モデルよりも正確であるという事実によって、モデル量子化の大幅な進歩を示している。

関連論文リスト

• GWQ: Gradient-Aware Weight Quantization for Large Language Models [63.89099994367657]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットにすることで、リソース制約のあるデバイス上で動作することが可能になり、しばしばパフォーマンスの低下につながる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points [10.238677144792279]
  deoupleQは従来の量子化パラダイムを捨て、モデルパラメータを整数と浮動小数点に分解する。 ByteDanceの大規模音声モデルの2ビット量子化では,fp16/bf16付近のオンライン精度が良好であった。
  論文  参考訳（メタデータ） (2024-04-19T10:02:53Z)
• MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
  MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。 MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。 8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• Mixture of Quantized Experts (MoQE): Complementary Effect of Low-bit Quantization and Robustness [10.196942053244468]
  大規模なMixture of Experts (MoE)モデルは、様々な言語タスクで最先端の品質を達成することができる。 MoQEは、超低ビットから2ビットまでの量子化を専門家の重みのみに適用する単純な重みのみの量子化法である。 低ビット量子化とMoEアーキテクチャは信頼性の高いモデル性能を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-03T20:11:23Z)
• Understanding the Impact of Post-Training Quantization on Large Language Models [0.38073142980732994]
  この研究は、nf4が低い温度でラマ2系列のモデルの場合、温度変化に対する弾力性を示すと同定した。 Int8量子化は推論速度が大幅に遅いのに対して、不定値のbfloat16モデルは全てのサイズのモデルで常に高速な推論速度が得られる。
  論文  参考訳（メタデータ） (2023-09-11T02:58:32Z)
• MRQ:Support Multiple Quantization Schemes through Model Re-Quantization [0.17499351967216337]
  ディープラーニングモデルは、様々な固定ポイントハードウェアで容易に定量化できない。 モデル再量子化と呼ばれる新しいタイプのモデル量子化手法を提案する。 再量子化プロセスから得られたモデルは、Echo ShowデバイスでNNAにうまくデプロイされている。
  論文  参考訳（メタデータ） (2023-08-01T08:15:30Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
  多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。 重みの多様性を高めるためにウェーブレット分解と再構成を用いる。 同じ精度で訓練された専用モデルに匹敵する精度が得られる。
  論文  参考訳（メタデータ） (2021-05-04T08:10:50Z)
• Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
  本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。 本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
  論文  参考訳（メタデータ） (2021-04-20T14:14:03Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。