論文の概要: On Quantizing Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2209.01019v1
• Date: Thu, 1 Sep 2022 05:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-09-05 12:32:35.266449
• Title: On Quantizing Implicit Neural Representations
• Title（参考訳）: 暗黙的神経表現の定量化について
• Authors: Cameron Gordon, Shin-Fang Chng, Lachlan MacDonald, Simon Lucey
• Abstract要約: ニューラルウェイトを均一に定量化することで、大幅な改善がもたらされることが示される。 我々は、バイナリニューラルネットワークを用いて信号を再構成することは(メモリ非効率でも)可能であることを示した。
• 参考スコア（独自算出の注目度）: 30.257625048084968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The role of quantization within implicit/coordinate neural networks is still not fully understood. We note that using a canonical fixed quantization scheme during training produces poor performance at low-rates due to the network weight distributions changing over the course of training. In this work, we show that a non-uniform quantization of neural weights can lead to significant improvements. Specifically, we demonstrate that a clustered quantization enables improved reconstruction. Finally, by characterising a trade-off between quantization and network capacity, we demonstrate that it is possible (while memory inefficient) to reconstruct signals using binary neural networks. We demonstrate our findings experimentally on 2D image reconstruction and 3D radiance fields; and show that simple quantization methods and architecture search can achieve compression of NeRF to less than 16kb with minimal loss in performance (323x smaller than the original NeRF).
• Abstract（参考訳）: 暗黙的/座標的ニューラルネットワークにおける量子化の役割は、まだ完全には理解されていない。 トレーニング中に標準固定量子化スキームを用いることは,ネットワークの重み分布がトレーニングの過程で変化するため,低速度での成績が低くなることに留意する。 本研究では,神経重みの非一様量子化が著しい改善をもたらすことを示す。 具体的には,クラスター量子化により,復元性が向上することを示す。 最後に、量子化とネットワーク容量のトレードオフを特徴付けることにより、バイナリニューラルネットワークを用いた信号再構成が可能であることを実証する。 本研究では, 2次元画像再構成と3次元放射場について実験的に検討し, 単純な量子化法とアーキテクチャ探索により, nerfの圧縮を16kb未満に抑え, 性能の低下を最小化できることを示した。

関連論文リスト

• Convolutional Neural Networks Quantization with Attention [1.0312968200748118]
  二重段Squeeze-and-Threshold法(二重段ST)を提案する。 注意機構を使ってネットワークを定量化し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T08:48:31Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• MWQ: Multiscale Wavelet Quantized Neural Networks [45.22093693422084]
  本稿では,周波数領域の画像特性に触発された新しいマルチスケールウェーブレット量子化(MWQ)法を提案する。 空間領域における量子化による情報損失を軽減するために、マルチスケールの周波数と空間情報を利用する。 MWQの柔軟性のため、ImageNetとCOCOデータセット上の3つのアプリケーションを実演する。
  論文  参考訳（メタデータ） (2021-03-09T11:21:59Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Recurrence of Optimum for Training Weight and Activation Quantized Networks [4.103701929881022]
  低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。 ネットワーク量子化の性質を克服する方法を紹介します。 また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
  論文  参考訳（メタデータ） (2020-12-10T09:14:43Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。