論文の概要: Neural Network Activation Quantization with Bitwise Information Bottlenecks

• arxiv url: http://arxiv.org/abs/2006.05210v1
• Date: Tue, 9 Jun 2020 12:10:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 15:13:06.259427
• Title: Neural Network Activation Quantization with Bitwise Information Bottlenecks
• Title（参考訳）: Bitwise Information Bottleneckを用いたニューラルネットワーク活性化量子化
• Authors: Xichuan Zhou, Kui Liu, Cong Shi, Haijun Liu, Ji Liu
• Abstract要約: 本稿では,ニューラルネットワークアクティベーションの定量化と符号化のためのビットワイズ・インフォメーション・ボトルネック手法を提案する。 各層の量子化率歪みを最小化することにより、情報ボトルネックを有するニューラルネットワークは、精度の低いアクティベーションで最先端の精度を達成する。
• 参考スコア（独自算出の注目度）: 25.319181120172562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent researches on information bottleneck shed new light on the continuous attempts to open the black box of neural signal encoding. Inspired by the problem of lossy signal compression for wireless communication, this paper presents a Bitwise Information Bottleneck approach for quantizing and encoding neural network activations. Based on the rate-distortion theory, the Bitwise Information Bottleneck attempts to determine the most significant bits in activation representation by assigning and approximating the sparse coefficient associated with each bit. Given the constraint of a limited average code rate, the information bottleneck minimizes the rate-distortion for optimal activation quantization in a flexible layer-by-layer manner. Experiments over ImageNet and other datasets show that, by minimizing the quantization rate-distortion of each layer, the neural network with information bottlenecks achieves the state-of-the-art accuracy with low-precision activation. Meanwhile, by reducing the code rate, the proposed method can improve the memory and computational efficiency by over six times compared with the deep neural network with standard single-precision representation. Codes will be available on GitHub when the paper is accepted \url{https://github.com/BitBottleneck/PublicCode}.
• Abstract（参考訳）: 情報ボトルネックに関する最近の研究は、ニューラルシグナル符号化のブラックボックスを開く継続的な試みに新たな光を当てた。 本稿では,無線通信における損失信号圧縮の問題に着想を得て,ニューラルネットワークのアクティベーションの定量化と符号化を行うBitwise Information Bottleneckアプローチを提案する。 ビットワイズ・インフォメーション・ボトルネック(Bitwise Information Bottleneck)は、レート歪み理論に基づいて、各ビットに関連するスパース係数を割り当て、近似することにより、アクティベーション表現の最も重要なビットを決定する。 限られた平均符号レートの制約を考えると、情報ボトルネックはフレキシブル層ごとに最適なアクティベーション量子化の速度歪みを最小化する。 ImageNetや他のデータセットに対する実験では、各層の量子化率歪みを最小限にすることで、情報ボトルネックを伴うニューラルネットワークは、低い精度のアクティベーションで最先端の精度を達成する。 一方,提案手法は,符号レートを下げることで,標準的な単精度表現を持つディープニューラルネットワークと比較して,メモリ効率と計算効率を6倍以上向上させることができる。 コードは、論文が{url{https://github.com/bitbottleneck/publiccode} で受け入れられた時点でgithubで入手できる。

関連論文リスト

• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Compression with Bayesian Implicit Neural Representations [16.593537431810237]
  本稿では,データに変分ニューラルネットワークをオーバーフィッティングし,相対エントロピー符号化を用いて近似後重みサンプルを圧縮し,量子化やエントロピー符号化を行う。 実験により,本手法は単純さを維持しつつ,画像および音声の圧縮に強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-05-30T16:29:52Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• ZippyPoint: Fast Interest Point Detection, Description, and Matching through Mixed Precision Discretization [71.91942002659795]
  我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。 バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。 これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
  論文  参考訳（メタデータ） (2022-03-07T18:59:03Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Data-free mixed-precision quantization using novel sensitivity metric [6.031526641614695]
  量子化誤差がタスクロスや他の層との相互作用に与える影響を考慮した新しい感度測定法を提案する。 実験により,提案手法が量子化感度をよりよく表現し,生成したデータは混合精度量子化に適用できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T07:23:21Z)
• Efficient bit encoding of neural networks for Fock states [77.34726150561087]
  ニューラルネットワークの複雑さは、最大ボソン数ではなくビット符号化されたニューロンの数でしかスケールしない。 高占有状態においては、情報圧縮効率は最大に最適化された密度行列の実装を超えることが示されている。
  論文  参考訳（メタデータ） (2021-03-15T11:24:40Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。