論文の概要: FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation

• arxiv url: http://arxiv.org/abs/2506.11543v1
• Date: Fri, 13 Jun 2025 07:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.699027
• Title: FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation
• Title（参考訳）: FIMA-Q:漁業情報行列近似による視覚変換器の学習後量子化
• Authors: Zhuguanyu Wu, Shihe Wang, Jiayi Zhang, Jiaxin Chen, Yunhong Wang,
• Abstract要約: ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
• 参考スコア（独自算出の注目度）: 55.12070409045766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) has stood out as a cost-effective and promising model compression paradigm in recent years, as it avoids computationally intensive model retraining. Nevertheless, current PTQ methods for Vision Transformers (ViTs) still suffer from significant accuracy degradation, especially under low-bit quantization. To address these shortcomings, we analyze the prevailing Hessian-guided quantization loss, and uncover certain limitations of conventional Hessian approximations. By following the block-wise reconstruction framework, we propose a novel PTQ method for ViTs, dubbed FIMA-Q. Specifically, we firstly establish the connection between KL divergence and FIM, which enables fast computation of the quantization loss during reconstruction. We further propose an efficient FIM approximation method, namely DPLR-FIM, by employing the diagonal plus low-rank principle, and formulate the ultimate quantization loss. Our extensive experiments, conducted across various vision tasks with representative ViT-based architectures on public datasets, demonstrate that our method substantially promotes the accuracy compared to the state-of-the-art approaches, especially in the case of low-bit quantization. The source code is available at https://github.com/ShiheWang/FIMA-Q.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、計算集約的なモデル再訓練を避けるため、近年コスト効率が高く、有望なモデル圧縮パラダイムとして注目されている。 しかしながら、現在のビジョン変換器(ViT)のPTQ法は、特に低ビット量子化において、大きな精度の劣化に悩まされている。 これらの欠点に対処するために、一般的なヘッセン誘導量子化損失を分析し、従来のヘッセン近似のある種の限界を明らかにする。 ブロックワイズ再構築の枠組みに従うことで,FIMA-Q と呼ばれる新しい ViT の PTQ 手法を提案する。 具体的には、まず、再構成時の量子化損失の高速な計算を可能にするKL分散とFIMの接続を確立する。 さらに、対角法と低ランク法を用いて、効率的なFIM近似法、すなわちDPLR-FIMを提案し、最終的な量子化損失を定式化する。 公開データセット上の代表的ViTアーキテクチャを用いた様々な視覚タスクに対して実施した広範囲な実験により,本手法は,特に低ビット量子化の場合において,最先端の手法と比較して精度を著しく向上させることを示した。 ソースコードはhttps://github.com/ShiheWang/FIMA-Q.comで入手できる。

関連論文リスト

• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• AIQViT: Architecture-Informed Post-Training Quantization for Vision Transformers [42.535119270045605]
  後学習量子化(PTQ)は、視覚変換器(ViTs)の記憶と計算コストを削減するための有望なソリューションとして登場した。 AIQViT (Architecture-Informed Post-training Quantization for ViTs) と呼ばれる ViT に適した PTQ 手法を提案する。
  論文  参考訳（メタデータ） (2025-02-07T03:04:50Z)
• Progressive Fine-to-Coarse Reconstruction for Accurate Low-Bit Post-Training Quantization in Vision Transformers [13.316135182889296]
  後トレーニング量子化(PTQ)は視覚変換器(ViT)の圧縮に広く採用されている。 低ビット表現に量子化されると、完全精度の表現に比べて大きな性能低下がしばしば起こる。 低ビット量子化ビジョントランスの性能を大幅に向上させるPFCR法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T08:38:59Z)
• DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [2.0862654518798034]
  本稿では,視覚変換器のための分散親和性・外乱性を考慮したポストトレーニング量子化手法を提案する。 DopQ-ViTは、現在の量子化器の非効率性を分析し、TanQと呼ばれる分布に優しいタン量子化器を導入する。 DopQ-ViTは広範囲に検証され、量子化モデルの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-06T16:40:04Z)
• Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
  既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。 APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
  論文  参考訳（メタデータ） (2023-03-25T03:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。