論文の概要: QuantNAS for super resolution: searching for efficient
quantization-friendly architectures against quantization noise
- arxiv url: http://arxiv.org/abs/2208.14839v1
- Date: Wed, 31 Aug 2022 13:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-01 13:34:07.798460
- Title: QuantNAS for super resolution: searching for efficient
quantization-friendly architectures against quantization noise
- Title(参考訳): 超分解能のためのQuantNAS : 量子化ノイズに対する効率的な量子化フレンドリなアーキテクチャの探索
- Authors: Egor Shvetsov, Dmitry Osin, Alexey Zaytsev, Ivan Koryakovskiy,
Valentin Buchnev, Ilya Trofimov, Evgeny Burnaev
- Abstract要約: 画像超解像(SR)のための新しい量子化対応ニューラルアーキテクチャサーチ(NAS)を提案する。
我々の手法は、量子化フレンドリなSRモデルを見つけるためにNASを実行する。
重みを直接定量化するよりも30%高速である。
- 参考スコア(独自算出の注目度): 9.839997534785878
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: There is a constant need for high-performing and computationally efficient
neural network models for image super-resolution (SR) often used on
low-capacity devices. One way to obtain such models is to compress existing
architectures, e.g. quantization. Another option is a neural architecture
search (NAS) that discovers new efficient solutions. We propose a novel
quantization-aware NAS procedure for a specifically designed SR search space.
Our approach performs NAS to find quantization-friendly SR models. The search
relies on adding quantization noise to parameters and activations instead of
quantizing parameters directly. Our QuantNAS finds architectures with better
PSNR/BitOps trade-off than uniform or mixed precision quantization of fixed
architectures. Additionally, our search against noise procedure is up to 30%
faster than directly quantizing weights.
- Abstract(参考訳): 低容量デバイスでよく使用される画像超解像(SR)に対して、高性能で計算効率のよいニューラルネットワークモデルが常に必要である。
そのようなモデルを得る一つの方法は、例えば量子化のような既存のアーキテクチャを圧縮することである。
別の選択肢として、新しい効率的なソリューションを発見するニューラルネットワーク検索(nas)がある。
本稿では,SR探索空間を具体的に設計した新しい量子化対応NAS手法を提案する。
我々の手法は、量子化フレンドリなSRモデルを見つけるためにNASを実行する。
探索はパラメータを直接量子化するのではなく、パラメータやアクティベーションに量子化ノイズを加えることに依存する。
固定アーキテクチャの均一または混合精度量子化よりもpsnr/bitopsトレードオフの優れたアーキテクチャを見出した。
さらに,重みを直接定量化するよりも,雑音に対する探索が最大30%高速である。
関連論文リスト
- MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model
Effectiveness and Efficiency [10.641875933652647]
我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。
各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。
CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-10-23T16:32:18Z) - Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。
種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-20T07:09:56Z) - QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。
当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。
我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
論文 参考訳(メタデータ) (2023-09-05T01:39:09Z) - FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization
Search [61.636237842419064]
モデルコストの低い高品質な結果を得るためには、混合精度量子化が必要である。
本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。
提案手法は,一様精度,手動混合精度,最近の整数量子化探索法により改良されたモデルを検出する。
論文 参考訳(メタデータ) (2023-08-07T04:17:19Z) - SqueezeLLM: Dense-and-Sparse Quantization [83.7810943431625]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳(メタデータ) (2023-06-13T08:57:54Z) - Effective and Fast: A Novel Sequential Single Path Search for
Mixed-Precision Quantization [45.22093693422085]
混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。
いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。
混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
論文 参考訳(メタデータ) (2021-03-04T09:15:08Z) - BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network
Quantization [32.770842274996774]
混合精度量子化は、ディープニューラルネットワークの性能と圧縮率の最適なトレードオフを実現できる可能性がある。
従来の方法は、小さな手作業で設計された検索空間のみを調べるか、面倒なニューラルネットワークアーキテクチャ検索を使用して広大な検索空間を探索する。
本研究では、ビットレベルスパーシティを誘導する新たな角度から、混合精度量子化に取り組むためのビットレベルスパーシティ量子化(BSQ)を提案する。
論文 参考訳(メタデータ) (2021-02-20T22:37:41Z) - Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。
我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。
低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文 参考訳(メタデータ) (2020-11-29T03:53:49Z) - Once Quantization-Aware Training: High Performance Extremely Low-bit
Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。
まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。
次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文 参考訳(メタデータ) (2020-10-09T03:52:16Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳(メタデータ) (2020-10-01T18:14:11Z) - VecQ: Minimal Loss DNN Model Compression With Vectorized Weight
Quantization [19.66522714831141]
我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。
また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
論文 参考訳(メタデータ) (2020-05-18T07:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。