論文の概要: 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2406.06649v1
• Date: Mon, 10 Jun 2024 06:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 20:44:57.196140
• Title: 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution
• Title（参考訳）: 2DQuant:画像超解像のための低ビット後処理量子化
• Authors: Kai Liu, Haotong Qin, Yong Guo, Xin Yuan, Linghe Kong, Guihai Chen, Yulun Zhang,
• Abstract要約: 低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
• 参考スコア（独自算出の注目度）: 83.09117439860607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-bit quantization has become widespread for compressing image super-resolution (SR) models for edge deployment, which allows advanced SR models to enjoy compact low-bit parameters and efficient integer/bitwise constructions for storage compression and inference acceleration, respectively. However, it is notorious that low-bit quantization degrades the accuracy of SR models compared to their full-precision (FP) counterparts. Despite several efforts to alleviate the degradation, the transformer-based SR model still suffers severe degradation due to its distinctive activation distribution. In this work, we present a dual-stage low-bit post-training quantization (PTQ) method for image super-resolution, namely 2DQuant, which achieves efficient and accurate SR under low-bit quantization. The proposed method first investigates the weight and activation and finds that the distribution is characterized by coexisting symmetry and asymmetry, long tails. Specifically, we propose Distribution-Oriented Bound Initialization (DOBI), using different searching strategies to search a coarse bound for quantizers. To obtain refined quantizer parameters, we further propose Distillation Quantization Calibration (DQC), which employs a distillation approach to make the quantized model learn from its FP counterpart. Through extensive experiments on different bits and scaling factors, the performance of DOBI can reach the state-of-the-art (SOTA) while after stage two, our method surpasses existing PTQ in both metrics and visual effects. 2DQuant gains an increase in PSNR as high as 4.52dB on Set5 (x2) compared with SOTA when quantized to 2-bit and enjoys a 3.60x compression ratio and 5.08x speedup ratio. The code and models will be available at https://github.com/Kai-Liu001/2DQuant.
• Abstract（参考訳）: 低ビット量子化は、エッジ配置のための画像超解像(SR)モデルを圧縮するために広く普及し、より高度なSRモデルは、それぞれ、コンパクトな低ビットパラメータと、ストレージ圧縮と推論アクセラレーションのための効率的な整数/ビット分割を楽しむことができる。 しかしながら、低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 劣化を緩和する試みはいくつかあるが、トランスフォーマーベースのSRモデルは、その特異な活性化分布のために依然として深刻な劣化を被っている。 本稿では,2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)手法を提案する。 提案手法はまず, 重みと活性化について検討し, その分布は対称性と非対称性, 長い尾の共存によって特徴づけられることを示した。 具体的には,分布指向境界初期化 (DOBI) を提案し,様々な探索手法を用いて量子化器の粗い境界を探索する。 精製された量子化器パラメータを得るために、蒸留手法を用いてFPモデルから量子化モデルを学習させる蒸留量子化校正(DQC)を提案する。 様々なビットやスケーリング要因に関する広範な実験により、DOBIの性能は最先端(SOTA)に到達し、ステージ2の後、既存のPTQを計測値と視覚効果の両方で上回っている。 2DQuantは2ビットに量子化されたSOTAと比較してPSNRが最大4.52dB増加し、圧縮比が3.60倍、スピードアップ比が5.08倍である。 コードとモデルはhttps://github.com/Kai-Liu001/2DQuant.comから入手できる。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks [82.18396309806577]
  動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。 DDTBは超低精度で優れた性能を示した。 例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
  論文  参考訳（メタデータ） (2022-03-08T04:26:18Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• PAMS: Quantized Super-Resolution via Parameterized Max Scale [84.55675222525608]
  深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した 本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。 実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
  論文  参考訳（メタデータ） (2020-11-09T06:16:05Z)
• Differentiable Joint Pruning and Quantization for Hardware Efficiency [16.11027058505213]
  DJPQは、変動情報ボトルネックに基づく構造化プルーニングと混合ビット精度量子化を1つの微分可能損失関数に組み込む。 DJPQは、複数のネットワークにおけるビット演算数(BOP)を大幅に削減し、元の浮動小数点モデルのトップ1の精度を維持していることを示す。
  論文  参考訳（メタデータ） (2020-07-20T20:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。