論文の概要: Matryoshka Quantization

• arxiv url: http://arxiv.org/abs/2502.06786v3
• Date: Mon, 03 Mar 2025 17:54:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 17:04:19.562827
• Title: Matryoshka Quantization
• Title（参考訳）: Matryoshka (複数形 Matryoshkas)
• Authors: Pranav Nair, Puranjay Datta, Jeff Dean, Prateek Jain, Aditya Kusupati,
• Abstract要約: 本稿では,新しいマルチスケール量子化手法であるMatryoshka Quantization(MatQuant)を提案する。 MatQuantを使えば、単一の量子化モデルをトレーニングし、メンテナンスできますが、デプロイによって要求される正確さでそれを提供します。
• 参考スコア（独自算出の注目度）: 19.46665026740268
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantizing model weights is critical for reducing the communication and inference costs of large models. However, quantizing models -- especially to low precisions like int4 or int2 -- requires a trade-off in model quality; int2, in particular, is known to severely degrade model quality. Consequently, practitioners are often forced to maintain multiple models with different quantization levels or serve a single model that best satisfies the quality-latency trade-off. On the other hand, integer data types, such as int8, inherently possess a nested (Matryoshka) structure where smaller bit-width integers, like int4 or int2, are nested within the most significant bits. Leveraging this insight, in this paper, we propose Matryoshka Quantization (MatQuant), a novel multi-scale quantization technique that alleviates the aforementioned challenge. This technique allows us to train and maintain a single quantized model but serve it with the precision demanded by the deployment. Furthermore, leveraging MatQuant's co-training and co-distillation regularization, int2 precision models extracted by MatQuant outperform standard int2 quantization by up to to 4% and 7% with OmniQuant and QAT as base algorithms respectively. Finally, we demonstrate that by using an extra bit to represent outliers, a model with an effective precision of 2.05-bit gives an additional 6% improvement with OmniQuant as the base algorithm.
• Abstract（参考訳）: モデル重みの量子化は、大きなモデルの通信と推論コストを低減するために重要である。 しかし、特に int4 や int2 のような低い精度でモデルを定量化するには、モデル品質のトレードオフが必要となる。 その結果、実践者は、異なる量子化レベルを持つ複数のモデルを維持することや、品質とレイテンシのトレードオフを最も満足する単一のモデルを提供することを余儀なくされる。 一方、 int8 のような整数データ型は本質的には int4 や int2 のような小さなビット幅の整数が最も重要なビット内にネストされるネスト(マトリシカ)構造を持っている。 本稿では,この知見を生かして,上記の課題を緩和する新しいマルチスケール量子化手法であるMatryoshka Quantization(MatQuant)を提案する。 この技術により、単一の量子化モデルをトレーニングし、メンテナンスできますが、デプロイによって要求される正確さでそれを提供します。 さらに、MatQuantのコトレーニングと共蒸留の正則化を利用して、MatQuantが抽出したint2精度モデルは、OmniQuantとQATをそれぞれベースアルゴリズムとして、最大4%および7%の精度で標準のint2量子化より優れている。 最後に,オムニクラントをベースアルゴリズムとして,有効精度2.05-bitのモデルにおいて,余分なビットで外乱を表現できることを実証した。

関連論文リスト

• Improving Quantization with Post-Training Model Expansion [0.35377121774178694]
  ポストトレーニングモデル拡張は、量子化共設計空間内のモデル品質を改善するための実行可能な戦略である。 本研究では,事前学習された大規模言語モデル (LLM) のサイズを段階的に選択的に拡張し,エンドツーエンドの再学習を伴わずにモデル品質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-03-21T19:56:59Z)
• ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization [58.84018707089315]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• FP=xINT:A Low-Bit Series Expansion Algorithm for Post-Training Quantization [3.560046736432574]
  PTQ(Post-Training Quantization)は、事前訓練されたフル精度(FP)モデルを、トレーニングなしで量子化したバージョンに変換する。 既存の手法は、量子化ノイズによる極端に低い設定で性能と量子化効率を著しく低下させる。 この問題に対処するためのディープモデルシリーズ拡張フレームワークを導入し、キャリブレーションセットや微調整を必要とせずに、不定値モデルの迅速かつ正確な近似を可能にする。
  論文  参考訳（メタデータ） (2024-12-09T08:50:28Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [63.89099994367657]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットにすることで、リソース制約のあるデバイス上で動作することが可能になり、しばしばパフォーマンスの低下につながる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• Mixture of Quantized Experts (MoQE): Complementary Effect of Low-bit Quantization and Robustness [10.196942053244468]
  大規模なMixture of Experts (MoE)モデルは、様々な言語タスクで最先端の品質を達成することができる。 MoQEは、超低ビットから2ビットまでの量子化を専門家の重みのみに適用する単純な重みのみの量子化法である。 低ビット量子化とMoEアーキテクチャは信頼性の高いモデル性能を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-03T20:11:23Z)
• Understanding the Impact of Post-Training Quantization on Large Language Models [0.38073142980732994]
  この研究は、nf4が低い温度でラマ2系列のモデルの場合、温度変化に対する弾力性を示すと同定した。 Int8量子化は推論速度が大幅に遅いのに対して、不定値のbfloat16モデルは全てのサイズのモデルで常に高速な推論速度が得られる。
  論文  参考訳（メタデータ） (2023-09-11T02:58:32Z)
• FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search [50.07268323597872]
  本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。 整数モデルでは、ImageNet上のResNet-18の精度を1.31%、ResNet-50の精度を0.90%向上させる。 従来のFP8モデルと比較して,新しい混合精度浮動小数点探索を探索し,最大0.98%改善した。
  論文  参考訳（メタデータ） (2023-08-07T04:17:19Z)
• MRQ:Support Multiple Quantization Schemes through Model Re-Quantization [0.17499351967216337]
  ディープラーニングモデルは、様々な固定ポイントハードウェアで容易に定量化できない。 モデル再量子化と呼ばれる新しいタイプのモデル量子化手法を提案する。 再量子化プロセスから得られたモデルは、Echo ShowデバイスでNNAにうまくデプロイされている。
  論文  参考訳（メタデータ） (2023-08-01T08:15:30Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Modular Quantization-Aware Training for 6D Object Pose Estimation [52.9436648014338]
  エッジアプリケーションは、リソース制約された組み込みプラットフォーム上で効率的な6Dオブジェクトのポーズ推定を要求する。 本稿では,適応的かつ高精度な量子化学習戦略であるMQAT(Modular Quantization-Aware Training)を紹介する。 MQATは、モジュール固有のビット精度を導出し、モジュール固有の量子化シーケンスを導出し、最先端の均一および混合精度の量子化技術によって生成されたものより優れた量子化モデルをもたらす。
  論文  参考訳（メタデータ） (2023-03-12T21:01:54Z)
• Analysis of Quantization on MLP-based Vision Models [36.510879540365636]
  量子化は、ニューラルネットワークの浮動小数点重みとアクティベーションを低ビット整数に変換することによって効率的なモデルを得る。 本稿では,有界モデルに量子化を直接適用することで,精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-09-14T02:55:57Z)
• One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
  多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。 重みの多様性を高めるためにウェーブレット分解と再構成を用いる。 同じ精度で訓練された専用モデルに匹敵する精度が得られる。
  論文  参考訳（メタデータ） (2021-05-04T08:10:50Z)
• Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
  本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。 本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
  論文  参考訳（メタデータ） (2021-04-20T14:14:03Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。