論文の概要: ZeroQAT: Your Quantization-aware Training but Efficient

• arxiv url: http://arxiv.org/abs/2509.00031v1
• Date: Thu, 21 Aug 2025 01:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-07 09:10:15.255394
• Title: ZeroQAT: Your Quantization-aware Training but Efficient
• Title（参考訳）: ZeroQAT: 量子化を意識したトレーニングは効率的
• Authors: Qitao Tan, Xiaoying Song, Jin Lu, Guoming Li, Jun Liu, Lingzi Hong, Caiwen Ding, Jundong Li, Xiaoming Zhai, Shaoyi Huang, Wei Niu, Geng Yuan,
• Abstract要約: 量子化は、大規模言語モデル(LLM)のデプロイメントコストを削減する効果的な手法である。 既存の低ビットPTQ法は, 局所再構成目標と下流性能の相違による累積誤差の伝搬と誤調整が生じるため, 精度劣化に悩まされる。 我々は,ゼロオーダー最適化に基づくQATフレームワークZeroQATを提案する。
• 参考スコア（独自算出の注目度）: 53.25965863436039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is an effective technique to reduce the deployment cost of large language models (LLMs), and post-training quantization (PTQ) has been widely studied due to its efficiency. However, existing low-bit PTQ methods suffer from accuracy degradation because their layer-wise optimization introduces cumulative error propagation and misalignment between local reconstruction objectives and downstream performance. While quantization-aware training (QAT) provides a principled solution, its reliance on backpropagation incurs prohibitive data, time, and memory costs, limiting its practicality. To address these challenges, we propose ZeroQAT, a zeroth-order optimization-based QAT framework. ZeroQAT leverages forward-only gradient estimation to eliminate the need for backpropagation, significantly reducing computational and memory overhead while retaining the benefits of end-to-end optimization. Moreover, ZeroQAT jointly learns quantized weights, weight clipping thresholds, and equivalent transformations to mitigate quantization error and handle activation outliers. Experiments demonstrate that ZeroQAT achieves the efficiency of PTQ while retaining the accuracy of QAT, offering a practical solution for high-quality low-bit quantization of LLMs.
• Abstract（参考訳）: 量子化は大規模言語モデル(LLM)の展開コストを削減する効果的な手法であり、その効率性から後学習量子化(PTQ)が広く研究されている。 しかし, 従来の低ビットPTQ法では, 局所再構成目標と下流性能の相違による累積誤差の伝播と誤調整が生じるため, 精度劣化に悩まされている。 量子化対応トレーニング(QAT)は原則的なソリューションを提供するが、バックプロパゲーションへの依存は禁止データ、時間、メモリコストを発生させ、実用性を制限する。 これらの課題に対処するため、ゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 ZeroQATは、フォワードのみの勾配推定を活用して、バックプロパゲーションの必要性を排除し、エンドツーエンド最適化の利点を維持しながら、計算とメモリオーバーヘッドを大幅に削減する。 さらに、ZeroQATは、量子化されたウェイト、ウェイトクリッピングしきい値、および等価な変換を共同で学習し、量子化エラーを緩和し、アクティベーションアウトリーを処理する。 実験により、ZeroQATはQATの精度を維持しながらPTQの効率を向上し、LCMの高品質な低ビット量子化のための実用的なソリューションを提供することが示された。

関連論文リスト

• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization [0.0]
  層ワイドPTQは大規模言語モデル(LLM)を圧縮するための有望な手法である この領域の最近の進歩は飽和しており、中核的な制限を再検討し、さらなる改善を検討する必要性を浮き彫りにしている。 本稿では,量子化エラーを明示的に伝播し,蓄積したエラーを補償することにより,レイヤワイズPTQを向上させる,汎用的で軽量でスケーラブルなフレームワークである量子化エラー伝播(QEP)を提案する。
  論文  参考訳（メタデータ） (2025-04-13T15:56:00Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models [5.304907804008533]
  量子化学習(QAT)とローランド適応(LoRA)を統合したL4Qを提案する。 メモリ最適化レイヤ設計を採用することで、L4QはQATのメモリオーバーヘッドを大幅に削減し、トレーニングコストはLoRAに匹敵する。 この量子化法と微調整法の組み合わせにより精度が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-07T14:35:05Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。