論文の概要: PAMS: Quantized Super-Resolution via Parameterized Max Scale
- arxiv url: http://arxiv.org/abs/2011.04212v1
- Date: Mon, 9 Nov 2020 06:16:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 02:01:51.612358
- Title: PAMS: Quantized Super-Resolution via Parameterized Max Scale
- Title（参考訳）: PAMS:パラメータ化最大スケールによる量子化超解法
- Authors: Huixia Li, Chenqian Yan, Shaohui Lin, Xiawu Zheng, Yuchao Li, Baochang
Zhang, Fan Yang, Rongrong Ji
- Abstract要約: 深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した
本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。
実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
- 参考スコア（独自算出の注目度）: 84.55675222525608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks (DCNNs) have shown dominant performance in
the task of super-resolution (SR). However, their heavy memory cost and
computation overhead significantly restrict their practical deployments on
resource-limited devices, which mainly arise from the floating-point storage
and operations between weights and activations. Although previous endeavors
mainly resort to fixed-point operations, quantizing both weights and
activations with fixed coding lengths may cause significant performance drop,
especially on low bits. Specifically, most state-of-the-art SR models without
batch normalization have a large dynamic quantization range, which also serves
as another cause of performance drop. To address these two issues, we propose a
new quantization scheme termed PArameterized Max Scale (PAMS), which applies
the trainable truncated parameter to explore the upper bound of the
quantization range adaptively. Finally, a structured knowledge transfer (SKT)
loss is introduced to fine-tune the quantized network. Extensive experiments
demonstrate that the proposed PAMS scheme can well compress and accelerate the
existing SR models such as EDSR and RDN. Notably, 8-bit PAMS-EDSR improves PSNR
on Set5 benchmark from 32.095dB to 32.124dB with 2.42$\times$ compression
ratio, which achieves a new state-of-the-art.
- Abstract（参考訳）: 深部畳み込みニューラルネットワーク(DCNN)は,超解像処理(SR)において優位な性能を示した。
しかし、そのメモリコストと計算オーバーヘッドは、主に浮動小数点記憶と重みとアクティベーションの間の操作から生じるリソース制限されたデバイスへの実際の展開を著しく制限する。
従来は固定点演算が主だったが、重みとアクティベーションの両方を固定符号長で定量化することは、特に低ビットでは大幅な性能低下を引き起こす可能性がある。
具体的には、バッチ正規化のない最先端のSRモデルの多くは、大きな動的量子化範囲を持ち、性能低下の原因でもある。
そこで本研究では,この2つの問題に対処するために,学習可能な切断パラメータを適応的に量子化範囲の上界を探索するために,パラメータ化maxスケール (pams) と呼ばれる新しい量子化スキームを提案する。
最後に、構造化知識転送(skt)損失を導入し、量子化ネットワークを微調整する。
大規模な実験により,提案手法がEDSRやRDNといった既存のSRモデルを適切に圧縮・加速できることが示されている。
特に8ビットPAMS-EDSRは、Set5ベンチマークのPSNRを32.095dBから32.124dBに2.42$\times$圧縮比で改善した。
関連論文リスト
- 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。
低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。
本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
論文 参考訳（メタデータ） (2024-06-10T06:06:11Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for
Energy-Efficient Low-precision Deep Convolutional Neural Networks [13.520972975766313]
本研究では、重みの非一様量子化を利用して、エネルギー効率の低い深部畳み込みニューラルネットワーク推論を可能にする枠組みを提案する。
また、重みのビット幅を圧縮する新しいデータ表現形式Encoded Low-Precision Binary Signed Digitを提案する。
論文 参考訳（メタデータ） (2022-07-31T01:34:56Z) - Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution
Networks [82.18396309806577]
動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。
DDTBは超低精度で優れた性能を示した。
例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
論文 参考訳（メタデータ） (2022-03-08T04:26:18Z) - Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。
我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。
低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文 参考訳（メタデータ） (2020-11-29T03:53:49Z) - Differentiable Joint Pruning and Quantization for Hardware Efficiency [16.11027058505213]
DJPQは、変動情報ボトルネックに基づく構造化プルーニングと混合ビット精度量子化を1つの微分可能損失関数に組み込む。
DJPQは、複数のネットワークにおけるビット演算数(BOP)を大幅に削減し、元の浮動小数点モデルのトップ1の精度を維持していることを示す。
論文 参考訳（メタデータ） (2020-07-20T20:45:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。