論文の概要: Distribution-Flexible Subset Quantization for Post-Quantizing
Super-Resolution Networks
- arxiv url: http://arxiv.org/abs/2305.05888v2
- Date: Fri, 12 May 2023 04:43:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 15:12:57.394287
- Title: Distribution-Flexible Subset Quantization for Post-Quantizing
Super-Resolution Networks
- Title（参考訳）: ポスト量子化超解像ネットワークのための分布フレキシブルサブセット量子化
- Authors: Yunshan Zhong, Mingbao Lin, Jingjing Xie, Yuxin Zhang, Fei Chao,
Rongrong Ji
- Abstract要約: 本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。
DFSQは活性化のチャネルワイド正規化を行い、分布フレキシブルなサブセット量子化(SQ)を適用する
6ビットの量子化と8ビットの量子化では完全精度に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか生じない。
- 参考スコア（独自算出の注目度）: 68.83451203841624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Distribution-Flexible Subset Quantization (DFSQ), a
post-training quantization method for super-resolution networks. Our motivation
for developing DFSQ is based on the distinctive activation distributions of
current super-resolution models, which exhibit significant variance across
samples and channels. To address this issue, DFSQ conducts channel-wise
normalization of the activations and applies distribution-flexible subset
quantization (SQ), wherein the quantization points are selected from a
universal set consisting of multi-word additive log-scale values. To expedite
the selection of quantization points in SQ, we propose a fast quantization
points selection strategy that uses K-means clustering to select the
quantization points closest to the centroids. Compared to the common iterative
exhaustive search algorithm, our strategy avoids the enumeration of all
possible combinations in the universal set, reducing the time complexity from
exponential to linear. Consequently, the constraint of time costs on the size
of the universal set is greatly relaxed. Extensive evaluations of various
super-resolution models show that DFSQ effectively retains performance even
without fine-tuning. For example, when quantizing EDSRx2 on the Urban
benchmark, DFSQ achieves comparable performance to full-precision counterparts
on 6- and 8-bit quantization, and incurs only a 0.1 dB PSNR drop on 4-bit
quantization. Code is at \url{https://github.com/zysxmu/DFSQ}
- Abstract（参考訳）: 本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。
DFSQを開発する動機は、サンプルやチャネル間で大きなばらつきを示す現在の超解像モデルの特異な活性化分布に基づいている。
この問題に対処するため、DFSQは活性化のチャネルワイド正規化を行い、分散フレキシブルなサブセット量子化(SQ)を適用する。
SQにおける量子化点の選択を高速化するために,K平均クラスタリングを用いた高速量子化点選択戦略を提案する。
一般的な反復的網羅的探索アルゴリズムと比較して、我々の戦略は普遍集合におけるすべての組み合わせの列挙を回避し、時間複雑性を指数関数から線形に減らす。
したがって、普遍集合の大きさに対する時間コストの制約は大幅に緩和される。
様々な超解像モデルに対する広範囲な評価は、DFSQが微調整をせずに効果的に性能を維持することを示す。
例えば、UrbanベンチマークでEDSRx2の量子化を行う場合、DFSQは6ビットと8ビットの量子化で完全精度の量子化に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか発生しない。
コードは \url{https://github.com/zysxmu/dfsq}
関連論文リスト
- EQ-Net: Elastic Quantization Neural Networks [15.289359357583079]
Elastic Quantization Neural Networks (EQ-Net) は、堅牢な重み共有量子化スーパーネットのトレーニングを目的としている。
本稿では, 様々な主要な量形式に対応するために, 弾性量子化空間(弾性ビット幅, 粒度, 対称性を含む)を提案する。
遺伝的アルゴリズムと,提案した条件量子化対応条件精度予測器(CQAP)を推定器として組み込んで,混合精度量子ニューラルネットワークを高速に探索する。
論文 参考訳（メタデータ） (2023-08-15T08:57:03Z) - QFT: Post-training quantization via fast joint finetuning of all degrees
of freedom [1.1744028458220428]
我々は、すべての量子化DoFの統一的な分析に向けて、HWを意識した方法で量子化ネットワークパラメータ化を再考する。
本手法はQFT(quantization-aware finetuning)と呼ばれ,SoTAと同等の4ビット重み量子化結果が得られる。
論文 参考訳（メタデータ） (2022-12-05T22:38:58Z) - End-to-end resource analysis for quantum interior point methods and portfolio optimization [63.4863637315163]
問題入力から問題出力までの完全な量子回路レベルのアルゴリズム記述を提供する。
アルゴリズムの実行に必要な論理量子ビットの数と非クリフォードTゲートの量/深さを報告する。
論文 参考訳（メタデータ） (2022-11-22T18:54:48Z) - Green, Quantized Federated Learning over Wireless Networks: An
Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。
提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文 参考訳（メタデータ） (2022-07-19T16:37:24Z) - Learning Quantile Functions without Quantile Crossing for
Distribution-free Time Series Forecasting [12.269597033369557]
本稿では,分散フリーな分布推定フレームワークであるIncrmental (Spline) Quantile Function I(S)QFを提案する。
また、シーケンス・ツー・シーケンス・セッティングに基づく提案手法の一般化誤差解析も提供する。
論文 参考訳（メタデータ） (2021-11-12T06:54:48Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Q-Match: Iterative Shape Matching via Quantum Annealing [64.74942589569596]
形状対応を見つけることは、NP-hard quadratic assignment problem (QAP)として定式化できる。
本稿では,アルファ拡大アルゴリズムに触発されたQAPの反復量子法Q-Matchを提案する。
Q-Match は、実世界の問題にスケールできるような長文対応のサブセットにおいて、反復的に形状マッチング問題に適用できる。
論文 参考訳（メタデータ） (2021-05-06T17:59:38Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z) - Post-Training Piecewise Linear Quantization for Deep Neural Networks [13.717228230596167]
リソース制限されたデバイスへのディープニューラルネットワークのエネルギー効率向上において、量子化は重要な役割を果たす。
本稿では,長い尾を持つベル形状のテンソル値の正確な近似を実現するために,一方向線形量子化方式を提案する。
提案手法は,最先端のポストトレーニング量子化手法と比較して,画像分類,セマンティックセグメンテーション,オブジェクト検出においてわずかなオーバーヘッドで優れた性能を実現する。
論文 参考訳（メタデータ） (2020-01-31T23:47:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。