論文の概要: MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers
- arxiv url: http://arxiv.org/abs/2607.28589v1
- Date: Thu, 30 Jul 2026 17:43:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.705145
- Title: MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers
- Title（参考訳）: MixFrag: ヴィジュアルトランスのためのフラジティガイド付き混合精密ポストトレーニング量子化
- Abstract要約: トレーニング後の量子化(PTQ)は、リソース制約のあるデバイスにビジョントランスフォーマー(ViT)をデプロイするための効果的なソリューションとして登場した。
既存のPTQ法では、量子化に対する不均一な感度を見越して、トランスフォーマーコンポーネント間の均一なビット幅を用いるのが一般的である。
我々は、視覚変換器のための脆弱誘導混合精度PTQフレームワークであるMixFragを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training quantization (PTQ) has emerged as an effective solution for deploying Vision Transformers (ViTs) on resource-constrained devices. However, existing PTQ methods typically employ uniform bit-widths across transformer components, overlooking their heterogeneous sensitivity to quantization and leading to inefficient precision allocation. In this paper, we propose {MixFrag, a fragility-guided mixed-precision PTQ framework for Vision Transformers. MixFrag first estimates component-level quantization fragility by measuring the Kullback--Leibler (KL) divergence between full-precision and isolated quantized output distributions using a small calibration set. It then formulates bit allocation as a Multiple-Choice Knapsack Problem (MCKP), enabling adaptive layer-wise precision assignment under a target bit budget. Extensive experiments on ImageNet-1K across multiple Vision Transformer architectures demonstrate that MixFrag achieves competitive classification performance under practical mixed-precision settings. Furthermore, evaluations on COCO object detection and instance segmentation show that MixFrag achieves state-of-the-art performance among existing mixed-precision PTQ methods, improving the previous best method by up to 9.6 AP under the challenging MP3/MP3 setting. Additional analyses validate the proposed fragility metric and demonstrate its strong correlation with the learned bit allocation. These results establish MixFrag as an effective framework for mixed-precision post-training quantization of Vision Transformers.
- Abstract（参考訳）: トレーニング後の量子化(PTQ)は、リソース制約のあるデバイスにビジョントランスフォーマー(ViT)をデプロイするための効果的なソリューションとして登場した。
しかし、既存のPTQ法は通常、変圧器の部品間で均一なビット幅を使用し、量子化に対する不均一な感度を見落とし、非効率な精度割り当てをもたらす。
本稿では,視覚変換器用混合精度PTQフレームワークであるMixFragを提案する。
MixFragは、小さなキャリブレーションセットを用いて、完全精度と孤立した量子化出力分布の間のKL(Kullback-Leibler)のばらつきを測定することで、コンポーネントレベルの量子化の脆弱性を推定する。
その後、Multiple-Choice Knapsack Problem (MCKP)としてビット割り当てを定式化し、ターゲットビット予算の下で適応的なレイヤーワイズ精度割り当てを可能にする。
複数のVision TransformerアーキテクチャにまたがるImageNet-1Kの大規模な実験により、MixFragは実用的な混合精度設定下で、競合する分類性能を達成することを示した。
さらに、COCOオブジェクト検出およびインスタンスセグメント化の評価により、MixFragは既存の混合精度PTQ手法の最先端性能を達成し、挑戦的なMP3/MP3設定の下で、以前のベストメソッドを最大9.6 AP改善することを示した。
さらなる解析により、提案した脆弱度測定値が検証され、学習ビット割り当てと強い相関を示す。
これらの結果から、MixFragは視覚変換器の学習後量子化の高精度化に有効なフレームワークとして確立された。
関連論文リスト
- ScalePredictor: Instance-aware Scale Learning for Accurate Quantization of Vision Transformers [60.09590321091875]
トレーニング後の量子化(PTQ)は、最小限のトレーニングオーバーヘッドを持つ小さなキャリブレーションセットを使用してモデルを圧縮することで、魅力的なソリューションを提供する。
既存のPTQ作業の多くは、全てのインスタンスに一様に適用される静的量子化パラダイムを採用している。
本稿では,ViTの高精度かつ効率的な量子化スケール学習のための動的量子化フレームワークであるScalePredictorを提案する。
論文 参考訳（メタデータ） (2026-06-20T08:33:55Z) - Mixed-Precision Quantization for Language Models: Techniques and Prospects [10.345914140081925]
量子化は、モデルサイズを減らし、メモリボトルネックを緩和し、推論を加速する重要な圧縮技術として登場した。
混合精度量子化は、効率と精度のバランスをとるために、層またはテンソル内で精度を選択的に割り振ることで、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2025-10-19T12:16:40Z) - FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。
ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
論文 参考訳（メタデータ） (2025-06-13T07:57:38Z) - Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。
モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。
また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
論文 参考訳（メタデータ） (2025-05-08T00:08:31Z) - APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。
本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
論文 参考訳（メタデータ） (2025-04-03T11:48:56Z) - DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [31.791935689364866]
視覚変換器(ViT)のためのDopQ-ViTを提案する。
第一に、DopQ-ViTはTan Quantizer (TanQ)を導入している。
第2に、DopQ-ViT は MAD-Guided Optimal Scaling Factor (MOSF) を提示する。
論文 参考訳（メタデータ） (2024-08-06T16:40:04Z) - Instance-Aware Group Quantization for Vision Transformers [20.105148326987646]
ポストトレーニング量子化(PTQ)は、事前訓練された完全精度モデルを定量化する効率的なモデル圧縮手法である。
畳み込みニューラルネットワーク(CNN)のPTQ手法は、完全精度のニューラルネットワークに匹敵する量子化結果を提供する。
我々は、VIT(IGQ-ViT)のためのインスタンス対応グループ量子化を導入する。
論文 参考訳（メタデータ） (2024-04-01T05:12:30Z) - MPTQ-ViT: Mixed-Precision Post-Training Quantization for Vision
Transformer [7.041718444626999]
視覚変換器(MPTQ-ViT)のための混合精度後学習量子化フレームワークを提案する。
我々のViT,DeiT,Swinに関する実験では,ImageNetデータセットのSOTAと比較して精度が大幅に向上した。
論文 参考訳（メタデータ） (2024-01-26T14:25:15Z) - SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。
密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。
また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-12-01T08:22:34Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
論文 参考訳（メタデータ） (2023-06-12T18:12:19Z) - Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。
APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
論文 参考訳（メタデータ） (2023-03-25T03:05:26Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳（メタデータ） (2020-10-05T23:37:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。