論文の概要: QuantNAS for super resolution: searching for efficient
quantization-friendly architectures against quantization noise
- arxiv url: http://arxiv.org/abs/2208.14839v4
- Date: Wed, 10 Jan 2024 15:52:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 18:03:50.924722
- Title: QuantNAS for super resolution: searching for efficient
quantization-friendly architectures against quantization noise
- Title（参考訳）: 超分解能のためのQuantNAS : 量子化ノイズに対する効率的な量子化フレンドリなアーキテクチャの探索
- Authors: Egor Shvetsov, Dmitry Osin, Alexey Zaytsev, Ivan Koryakovskiy,
Valentin Buchnev, Ilya Trofimov, Evgeny Burnaev
- Abstract要約: 本稿では,新しい量子化対応手法であるQuantNASを提案する。
本稿では,エントロピー正則化,量子化ノイズ,適応偏差法(adaptive Deviation for Quantization,ADQ)モジュールを用いて探索手順を強化する。
提案手法は直接量量化よりも30%高速で、より安定である。
- 参考スコア（独自算出の注目度）: 19.897685398009912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is a constant need for high-performing and computationally efficient
neural network models for image super-resolution: computationally efficient
models can be used via low-capacity devices and reduce carbon footprints. One
way to obtain such models is to compress models, e.g. quantization. Another way
is a neural architecture search that automatically discovers new, more
efficient solutions. We propose a novel quantization-aware procedure, the
QuantNAS that combines pros of these two approaches. To make QuantNAS work, the
procedure looks for quantization-friendly super-resolution models. The approach
utilizes entropy regularization, quantization noise, and Adaptive Deviation for
Quantization (ADQ) module to enhance the search procedure. The entropy
regularization technique prioritizes a single operation within each block of
the search space. Adding quantization noise to parameters and activations
approximates model degradation after quantization, resulting in a more
quantization-friendly architectures. ADQ helps to alleviate problems caused by
Batch Norm blocks in super-resolution models. Our experimental results show
that the proposed approximations are better for search procedure than direct
model quantization. QuantNAS discovers architectures with better PSNR/BitOps
trade-off than uniform or mixed precision quantization of fixed architectures.
We showcase the effectiveness of our method through its application to two
search spaces inspired by the state-of-the-art SR models and RFDN. Thus, anyone
can design a proper search space based on an existing architecture and apply
our method to obtain better quality and efficiency.
The proposed procedure is 30\% faster than direct weight quantization and is
more stable.
- Abstract（参考訳）: 画像超解像のための高性能で計算効率のよいニューラルネットワークモデルには、常に必要である:計算効率のよいモデルは、低容量デバイスを介して使用でき、炭素フットプリントを削減できる。
そのようなモデルを得る一つの方法は、例えば量子化のようなモデルを圧縮することである。
別の方法は、新しいより効率的なソリューションを自動的に発見するニューラルネットワーク検索だ。
本稿では,これら2つの手法のプロースを組み合わせた新しい量子化対応手法QuantanaSを提案する。
quantnasを機能させるために、この手順は量子化フレンドリーなスーパーレゾリューションモデルを探す。
本手法は, エントロピー正規化, 量子化雑音, およびadqモジュールの適応偏差を利用して探索手順を強化する。
エントロピー正規化技法は、探索空間の各ブロック内で単一の演算を優先する。
パラメータとアクティベーションに量子化ノイズを加えると、量子化後のモデルの劣化を近似し、量子化フレンドリなアーキテクチャとなる。
ADQは超解像モデルにおけるバッチノームブロックによる問題を緩和するのに役立つ。
実験の結果,提案手法は直接モデル量子化よりも探索手順に適していることがわかった。
QuantNASは、固定アーキテクチャの均一または混合精度量子化よりも優れたPSNR/BitOpsトレードオフを持つアーキテクチャを発見する。
本稿では,最先端のSRモデルとRFDNにインスパイアされた2つの探索空間に適用することで,本手法の有効性を示す。
したがって、既存のアーキテクチャに基づいて適切な検索空間を設計し、我々の手法を適用してより良い品質と効率を得ることができる。
提案手法は直接重み量子化よりも30\%高速であり,より安定である。
関連論文リスト
- PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。
本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。
我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
論文 参考訳（メタデータ） (2024-11-26T04:49:42Z) - Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。
視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。
実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文 参考訳（メタデータ） (2024-10-10T17:02:48Z) - Trainability maximization using estimation of distribution algorithms assisted by surrogate modelling for quantum architecture search [8.226785409557598]
量子アーキテクチャサーチ(QAS)は、量子パラメトリック回路の構成を最適化するだけでなく、変分量子アルゴリズムのパラメータも最適化する。
本稿では,(1)粗悪な性能のアーキテクチャを積極的に破棄する評価プロセスのオンラインサロゲートモデルによる測定数を削減し,(2)BPが存在する場合の回路のトレーニングを避けることを目的とした。
我々は、変分量子固有解法の提案を実験的に検証し、我々のアルゴリズムがハミルトニアンの文献でこれまで提案されていた解を見つけることができることを示した。
論文 参考訳（メタデータ） (2024-07-29T15:22:39Z) - 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。
低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。
本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
論文 参考訳（メタデータ） (2024-06-10T06:06:11Z) - QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。
当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。
我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
論文 参考訳（メタデータ） (2023-09-05T01:39:09Z) - Effective and Fast: A Novel Sequential Single Path Search for
Mixed-Precision Quantization [45.22093693422085]
混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。
いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。
混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
論文 参考訳（メタデータ） (2021-03-04T09:15:08Z) - BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network
Quantization [32.770842274996774]
混合精度量子化は、ディープニューラルネットワークの性能と圧縮率の最適なトレードオフを実現できる可能性がある。
従来の方法は、小さな手作業で設計された検索空間のみを調べるか、面倒なニューラルネットワークアーキテクチャ検索を使用して広大な検索空間を探索する。
本研究では、ビットレベルスパーシティを誘導する新たな角度から、混合精度量子化に取り組むためのビットレベルスパーシティ量子化(BSQ)を提案する。
論文 参考訳（メタデータ） (2021-02-20T22:37:41Z) - Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。
我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。
低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文 参考訳（メタデータ） (2020-11-29T03:53:49Z) - Once Quantization-Aware Training: High Performance Extremely Low-bit
Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。
まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。
次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文 参考訳（メタデータ） (2020-10-09T03:52:16Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - VecQ: Minimal Loss DNN Model Compression With Vectorized Weight
Quantization [19.66522714831141]
我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。
また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
論文 参考訳（メタデータ） (2020-05-18T07:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。