論文の概要: Quantized Proximal Averaging Network for Analysis Sparse Coding
- arxiv url: http://arxiv.org/abs/2105.06211v1
- Date: Thu, 13 May 2021 12:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 20:21:56.211855
- Title: Quantized Proximal Averaging Network for Analysis Sparse Coding
- Title（参考訳）: 解析スパース符号化のための量子化近平均化ネットワーク
- Authors: Kartheek Kumar Reddy Nareddy, Mani Madhoolika Bulusu, Praveen Kumar
Pokala, Chandra Sekhar Seelamantula
- Abstract要約: 反復アルゴリズムをトレーニング可能なネットワークに展開し,量子化前にスパーシティの学習を容易にする。
圧縮画像回復と磁気共鳴画像再構成への応用を実証する。
- 参考スコア（独自算出の注目度）: 23.080395291046408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We solve the analysis sparse coding problem considering a combination of
convex and non-convex sparsity promoting penalties. The multi-penalty
formulation results in an iterative algorithm involving proximal-averaging. We
then unfold the iterative algorithm into a trainable network that facilitates
learning the sparsity prior. We also consider quantization of the network
weights. Quantization makes neural networks efficient both in terms of memory
and computation during inference, and also renders them compatible for
low-precision hardware deployment. Our learning algorithm is based on a variant
of the ADAM optimizer in which the quantizer is part of the forward pass and
the gradients of the loss function are evaluated corresponding to the quantized
weights while doing a book-keeping of the high-precision weights. We
demonstrate applications to compressed image recovery and magnetic resonance
image reconstruction. The proposed approach offers superior reconstruction
accuracy and quality than state-of-the-art unfolding techniques and the
performance degradation is minimal even when the weights are subjected to
extreme quantization.
- Abstract（参考訳）: 我々は凸と非凸間隔の組合せを考慮した解析スパース符号化問題を解く。
マルチペナルティの定式化は近位平均化を含む反復アルゴリズムをもたらす。
次に、反復アルゴリズムをトレーニング可能なネットワークに展開し、事前の間隔の学習を容易にする。
ネットワーク重みの定量化についても検討する。
量子化は、推論中のメモリと計算の両面でニューラルネットワークを効率よくし、低精度のハードウェアデプロイメントと互換性を持たせる。
我々の学習アルゴリズムはADAMオプティマイザの変種に基づいており、量子化器は前方通過の一部であり、損失関数の勾配は高精度な重みの帳簿保存を行いながら量子化重みに応じて評価される。
圧縮画像復元と磁気共鳴画像再構成への応用を実証する。
提案手法は、最先端の展開技術よりも再現精度と品質が優れており、重みが極端に量子化しても性能劣化は最小限である。
関連論文リスト
- Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。
従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。
これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文 参考訳（メタデータ） (2023-08-08T21:38:02Z) - Weight Re-Mapping for Variational Quantum Algorithms [54.854986762287126]
変動量子回路(VQC)における重み付けの考え方を紹介する。
我々は,8つの分類データセットに対する影響を評価するために,7つの異なる重み再マッピング関数を用いる。
以上の結果から,重量再マッピングによりVQCの収束速度が向上することが示唆された。
論文 参考訳（メタデータ） (2023-06-09T09:42:21Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Post-Training Quantization for Vision Transformer [85.57953732941101]
本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。
約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
論文 参考訳（メタデータ） (2021-06-27T06:27:22Z) - DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution
Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。
既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。
高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文 参考訳（メタデータ） (2020-12-21T10:19:42Z) - Recurrence of Optimum for Training Weight and Activation Quantized
Networks [4.103701929881022]
低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。
ネットワーク量子化の性質を克服する方法を紹介します。
また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
論文 参考訳（メタデータ） (2020-12-10T09:14:43Z) - Where Should We Begin? A Low-Level Exploration of Weight Initialization
Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。
我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
論文 参考訳（メタデータ） (2020-11-30T06:54:28Z) - Accelerating Neural Network Inference by Overflow Aware Quantization [16.673051600608535]
ディープニューラルネットワークの重計算を継承することで、その広範な応用が防げる。
トレーニング可能な適応的不動点表現を設計し,オーバーフローを考慮した量子化手法を提案する。
提案手法により,量子化損失を最小限に抑え,最適化された推論性能を得ることができる。
論文 参考訳（メタデータ） (2020-05-27T11:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。