論文の概要: Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table

• arxiv url: http://arxiv.org/abs/2407.16174v1
• Date: Tue, 23 Jul 2024 04:41:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:35:54.546030
• Title: Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
• Title（参考訳）: Pixel Embedding: 異なるルックアップテーブルを備えた完全量子化畳み込みニューラルネットワーク
• Authors: Hiroyuki Tokunaga, Joel Nicholls, Daria Vazhenina, Atsunori Kanemura,
• Abstract要約: ピクセル埋め込みは、ルックアップテーブルを使用して、各フロート値の入力ピクセルを量子化された値のベクトルに置き換える。 ImageNetとCIFAR-100の実験では、ピクセルの埋め込みは第1層の浮動小数点の量子化によるトップ5エラーギャップを1%に削減している。
• 参考スコア（独自算出の注目度）: 0.31373838169795004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By quantizing network weights and activations to low bitwidth, we can obtain hardware-friendly and energy-efficient networks. However, existing quantization techniques utilizing the straight-through estimator and piecewise constant functions face the issue of how to represent originally high-bit input data with low-bit values. To fully quantize deep neural networks, we propose pixel embedding, which replaces each float-valued input pixel with a vector of quantized values by using a lookup table. The lookup table or low-bit representation of pixels is differentiable and trainable by backpropagation. Such replacement of inputs with vectors is similar to word embedding in the natural language processing field. Experiments on ImageNet and CIFAR-100 show that pixel embedding reduces the top-5 error gap caused by quantizing the floating points at the first layer to only 1% for the ImageNet dataset, and the top-1 error gap caused by quantizing first and last layers to slightly over 1% for the CIFAR-100 dataset. The usefulness of pixel embedding is further demonstrated by inference time measurements, which demonstrate over 1.7 times speedup compared to floating point precision first layer.
• Abstract（参考訳）: ネットワーク重みとアクティベーションを低ビット幅に量子化することにより、ハードウェアフレンドリーでエネルギー効率の良いネットワークを得ることができる。 しかし、ストレートスルー推定器とピースワイズ定数関数を用いた既存の量子化技術は、もともとは低ビット値の高ビット入力データをどのように表現するかという問題に直面している。 深層ニューラルネットワークを完全に定量化するために,各フロート値の入力画素を,ルックアップテーブルを用いて量子化された値のベクトルに置き換える画素埋め込みを提案する。 画素のルックアップテーブルまたはロービット表現は、バックプロパゲーションにより微分可能で訓練可能である。 このような入力をベクトルに置き換えることは、自然言語処理分野における単語の埋め込みに似ている。 ImageNetとCIFAR-100の実験によると、ピクセルの埋め込みは、第1層の浮動小数点の量子化によるトップ5エラーギャップを、ImageNetデータセットの1%に減らし、第1層と最終層の量子化によるトップ1エラーギャップを、CIFAR-100データセットのわずか1%に減らしている。 画素埋め込みの有用性は、浮動小数点精度第1層に比べて1.7倍以上のスピードアップを示す推論時間測定によってさらに実証される。

関連論文リスト

• BiPer: Binary Neural Networks using a Periodic Function [17.461853355858022]
  量子ニューラルネットワークは、重みとアクティベーションの両方に精度の低下した表現を用いる。 バイナリニューラルネットワーク(BNN)は極端量子化のケースであり、わずか1ビットで値を表す。 現在のBNNのアプローチとは対照的に,バイナライゼーションにおいて,バイナリ周期関数 (BiPer) を用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:52:17Z)
• Transformer based Pluralistic Image Completion with Reduced Information Loss [72.92754600354199]
  トランスフォーマーをベースとした手法は,近年,イメージインペイントにおいて大きな成功を収めている。 彼らは各ピクセルをトークンとみなし、情報損失の問題に悩まされる。 我々はPUTと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-31T01:20:16Z)
• Compression with Bayesian Implicit Neural Representations [16.593537431810237]
  本稿では,データに変分ニューラルネットワークをオーバーフィッティングし,相対エントロピー符号化を用いて近似後重みサンプルを圧縮し,量子化やエントロピー符号化を行う。 実験により,本手法は単純さを維持しつつ,画像および音声の圧縮に強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-05-30T16:29:52Z)
• AI pipeline for accurate retinal layer segmentation using OCT 3D images [3.938455123895825]
  いくつかの古典的およびAIベースのアルゴリズムが組み合わせてテストされ、動物イメージングシステムからのデータとの互換性を確認している。 単純で実装可能な解析方程式は、平均ピクセル値の1%インクリメントで輝度操作に有効であることが示されている。 厚み推定処理は、手動の注釈付き標準データと比較して6%の誤差を有する。
  論文  参考訳（メタデータ） (2023-02-15T17:46:32Z)
• Reduce Information Loss in Transformers for Pluralistic Image Inpainting [112.50657646357494]
  入力情報を可能な限り保持するための新しいトランスフォーマーベースのフレームワーク"PUT"を提案する。 PUTは、特に大きなマスキング領域と複雑な大規模データセットにおいて、画像の忠実性に関する最先端の手法を大幅に上回る。
  論文  参考訳（メタデータ） (2022-05-10T17:59:58Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Learning in the Frequency Domain [20.045740082113845]
  精度を損なわずに除去できる自明な周波数成分を同定する学習ベース周波数選択法を提案する。 実験の結果,静的チャネル選択を用いた周波数領域での学習は,従来の空間ダウンサンプリング手法よりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-02-27T19:57:55Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。