Fugu-MT 論文翻訳(概要): CPT-V: A Contrastive Approach to Post-Training Quantization of Vision Transformers

論文の概要: CPT-V: A Contrastive Approach to Post-Training Quantization of Vision Transformers

arxiv url: http://arxiv.org/abs/2211.09643v1
Date: Thu, 17 Nov 2022 16:41:31 GMT
ステータス: 処理完了
システム内更新日: 2022-11-18 15:27:44.309050
Title: CPT-V: A Contrastive Approach to Post-Training Quantization of Vision Transformers
Title（参考訳）: CPT-V:視覚変換器の後の量子化に対する対照的なアプローチ
Authors: Natalia Frumkin, Dibakar Gope, and Diana Marculescu
Abstract要約: 我々は、量子化スケールを摂動することで、既に量子化されているネットワークの精度を改善する方法を見つける。 CTP-Vは、自己監督的な方法で量子化モデルと完全精度モデルの特徴を対比する。完全に量子化されたViTベースのトップ1の精度を10.30%、0.78%、および3ビット、4ビット、8ビットの重み量子化レベルで0.1%向上させる。
参考スコア（独自算出の注目度）: 12.987397453149537
License: http://creativecommons.org/licenses/by/4.0/
Abstract: When considering post-training quantization, prior work has typically focused on developing a mixed precision scheme or learning the best way to partition a network for quantization. In our work, CPT-V, we look at a general way to improve the accuracy of networks that have already been quantized, simply by perturbing the quantization scales. Borrowing the idea of contrastive loss from self-supervised learning, we find a robust way to jointly minimize a loss function using just 1,000 calibration images. In order to determine the best performing quantization scale, CPT-V contrasts the features of quantized and full precision models in a self-supervised fashion. Unlike traditional reconstruction-based loss functions, the use of a contrastive loss function not only rewards similarity between the quantized and full precision outputs but also helps in distinguishing the quantized output from other outputs within a given batch. In addition, in contrast to prior works, CPT-V proposes a block-wise evolutionary search to minimize a global contrastive loss objective, allowing for accuracy improvement of existing vision transformer (ViT) quantization schemes. For example, CPT-V improves the top-1 accuracy of a fully quantized ViT-Base by 10.30%, 0.78%, and 0.15% for 3-bit, 4-bit, and 8-bit weight quantization levels. Extensive experiments on a variety of other ViT architectures further demonstrate its robustness in extreme quantization scenarios. Our code is available at <link>.
Abstract（参考訳）: トレーニング後の量子化を考えるとき、事前の作業は通常、混合精度スキームの開発や、量子化のためにネットワークを分割する最良の方法を学ぶことに焦点を当てている。我々の研究であるCPT-Vでは、量子化スケールを摂動することで、既に量子化されているネットワークの精度を改善するための一般的な方法を検討する。自己教師付き学習から対照的な損失の考えを借用し,1,000の校正画像を用いて,損失関数を最小化するための頑健な方法を見出した。最高の量子化スケールを決定するために、CPT-Vは自己監督的な方法で量子化モデルと完全精度モデルの特徴を対比する。従来のレコンストラクションベースの損失関数とは異なり、コントラスト損失関数は、量子化出力と完全精度出力の類似性を報知するだけでなく、与えられたバッチ内の他の出力と量子化出力を区別するのに役立つ。さらに、cpt-vは先行研究とは対照的に、グローバルコントラスト損失目標を最小化し、既存のビジョントランスフォーマ(vit)量子化スキームの精度を向上させるブロックワイズ進化探索を提案する。例えば、cpt-vは全量子化されたvit-baseのtop-1精度を10.30%、0.78%、0.15%改善し、3ビット、4ビット、8ビットの重み量子化レベルで改善した。他の様々なViTアーキテクチャに関する大規模な実験は、極端量子化シナリオにおけるその堅牢性をさらに証明している。私たちのコードは<link>で利用可能です。

関連論文リスト

MPTQ-ViT: Mixed-Precision Post-Training Quantization for Vision Transformer [7.041718444626999]
視覚変換器(MPTQ-ViT)のための混合精度後学習量子化フレームワークを提案する。我々のViT,DeiT,Swinに関する実験では,ImageNetデータセットのSOTAと比較して精度が大幅に向上した。
論文参考訳（メタデータ） (2024-01-26T14:25:15Z)
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文参考訳（メタデータ） (2023-09-05T04:39:34Z)
Patch-wise Mixed-Precision Quantization of Vision Transformer [2.3104000011280403]
視覚変換器(ViT)は、強力な特徴表現の学習を保証するために複雑な自己注意計算を必要とする。本稿では,ViTの効率的な推定のためのパッチワイド混合精度量子化(PMQ)を提案する。
論文参考訳（メタデータ） (2023-05-11T04:34:10Z)
Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。 APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
論文参考訳（メタデータ） (2023-03-25T03:05:26Z)
NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers [53.85087932591237]
NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。 NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
論文参考訳（メタデータ） (2022-11-29T10:02:09Z)
Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-13T04:00:29Z)
PTQ4ViT: Post-training quantization for vision transformers with twin uniform quantization [12.136898590792754]
視覚変換器における量子化の問題を分析する。そこで本研究では,これらのアクティベーション値の量子化誤差を低減するために,ツイン均一量子化法を提案する。実験では、ImageNet分類タスクにおいて、量子化された視覚変換器は、ほぼロスレスな予測精度(8ビットの量子化で0.5%以下)を達成することを示した。
論文参考訳（メタデータ） (2021-11-24T06:23:06Z)
Post-Training Quantization for Vision Transformer [85.57953732941101]
本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
論文参考訳（メタデータ） (2021-06-27T06:27:22Z)
DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文参考訳（メタデータ） (2020-12-21T10:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。