論文の概要: MWQ: Multiscale Wavelet Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2103.05363v1
• Date: Tue, 9 Mar 2021 11:21:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 14:47:26.831105
• Title: MWQ: Multiscale Wavelet Quantized Neural Networks
• Title（参考訳）: MWQ:マルチスケールウェーブレット量子化ニューラルネットワーク
• Authors: Qigong Sun, Yan Ren, Licheng Jiao, Xiufang Li, Fanhua Shang, Fang Liu
• Abstract要約: 本稿では,周波数領域の画像特性に触発された新しいマルチスケールウェーブレット量子化(MWQ)法を提案する。 空間領域における量子化による情報損失を軽減するために、マルチスケールの周波数と空間情報を利用する。 MWQの柔軟性のため、ImageNetとCOCOデータセット上の3つのアプリケーションを実演する。
• 参考スコア（独自算出の注目度）: 45.22093693422084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model quantization can reduce the model size and computational latency, it has become an essential technique for the deployment of deep neural networks on resourceconstrained hardware (e.g., mobile phones and embedded devices). The existing quantization methods mainly consider the numerical elements of the weights and activation values, ignoring the relationship between elements. The decline of representation ability and information loss usually lead to the performance degradation. Inspired by the characteristics of images in the frequency domain, we propose a novel multiscale wavelet quantization (MWQ) method. This method decomposes original data into multiscale frequency components by wavelet transform, and then quantizes the components of different scales, respectively. It exploits the multiscale frequency and spatial information to alleviate the information loss caused by quantization in the spatial domain. Because of the flexibility of MWQ, we demonstrate three applications (e.g., model compression, quantized network optimization, and information enhancement) on the ImageNet and COCO datasets. Experimental results show that our method has stronger representation ability and can play an effective role in quantized neural networks.
• Abstract（参考訳）: モデル量子化はモデルサイズと計算遅延を低減し、リソース制約のあるハードウェア(携帯電話や組み込みデバイスなど)にディープニューラルネットワークを配置する上で重要な技術となっている。 既存の量子化法は主に重みとアクティベーション値の数値要素を考慮し、要素間の関係を無視している。 表現能力の低下と情報損失は通常、パフォーマンスの低下につながります。 周波数領域における画像の特性にインスパイアされた,新しいマルチスケールウェーブレット量子化(MWQ)法を提案する。 この方法はウェーブレット変換により元のデータをマルチスケールの周波数成分に分解し,それぞれ異なるスケールの成分を定量化する。 空間領域における量子化による情報損失を軽減するために、マルチスケールの周波数と空間情報を利用する。 MWQの柔軟性により、ImageNetおよびCOCOデータセットの3つのアプリケーション(モデル圧縮、量子化されたネットワーク最適化、情報強化など)を実証しています。 実験の結果,提案手法は表現能力が強く,量子化ニューラルネットワークにおいて有効に機能することが示された。

関連論文リスト

• Frequency Disentangled Features in Neural Image Compression [13.016298207860974]
  ニューラル画像圧縮ネットワークは、エントロピーモデルが潜在コードの真の分布とどの程度うまく一致しているかによって制御される。 本稿では,緩和されたスカラー量子化が低ビットレートを実現するのに役立つ特徴レベルの周波数歪みを提案する。 提案するネットワークは,手作業によるコーデックだけでなく,空間的自己回帰エントロピーモデル上に構築されたニューラルネットワークベースのコーデックよりも優れている。
  論文  参考訳（メタデータ） (2023-08-04T14:55:44Z)
• Towards Neural Variational Monte Carlo That Scales Linearly with System Size [67.09349921751341]
  量子多体問題(Quantum many-body problem)は、例えば高温超伝導体のようなエキゾチックな量子現象をデミストする中心である。 量子状態を表すニューラルネットワーク(NN)と変分モンテカルロ(VMC)アルゴリズムの組み合わせは、そのような問題を解決する上で有望な方法であることが示されている。 ベクトル量子化技術を用いて,VMCアルゴリズムの局所エネルギー計算における冗長性を利用するNNアーキテクチャVector-Quantized Neural Quantum States (VQ-NQS)を提案する。
  論文  参考訳（メタデータ） (2022-12-21T19:00:04Z)
• On Quantizing Implicit Neural Representations [30.257625048084968]
  ニューラルウェイトを均一に定量化することで、大幅な改善がもたらされることが示される。 我々は、バイナリニューラルネットワークを用いて信号を再構成することは(メモリ非効率でも)可能であることを示した。
  論文  参考訳（メタデータ） (2022-09-01T05:48:37Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Haar Wavelet Feature Compression for Quantized Graph Convolutional Networks [7.734726150561088]
  グラフ畳み込みニューラルネットワーク(GCN)は様々なアプリケーションで広く使われており、標準畳み込みニューラルネットワーク(CNN)の非構造化バージョンと見なすことができる。 CNNと同様に、大きな入力グラフに対するGCNの計算コストは高く、特に計算資源の少ない環境では、これらのネットワークの使用を阻害することができる。 本稿では,Haarウェーブレット圧縮と光量子化を利用して,ネットワークの計算量と帯域幅を削減することを提案する。
  論文  参考訳（メタデータ） (2021-10-10T15:25:37Z)
• Variational learning of quantum ground states on spiking neuromorphic hardware [0.0]
  高次元サンプリング空間と過渡自己相関は、難しい計算ボトルネックを伴うニューラルネットワークに直面する。 従来のニューラルネットワークと比較して、物理モデルデバイスは高速で効率的で本質的に並列な基板を提供する。 変動エネルギー最小化による量子スピンモデルの基底状態を表すニューロモルフィックチップの能力を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:39:45Z)
• Post-Training Quantization for Vision Transformer [85.57953732941101]
  本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。 約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
  論文  参考訳（メタデータ） (2021-06-27T06:27:22Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。