論文の概要: Distribution-sensitive Information Retention for Accurate Binary Neural Network

• arxiv url: http://arxiv.org/abs/2109.12338v1
• Date: Sat, 25 Sep 2021 10:59:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:30:37.114065
• Title: Distribution-sensitive Information Retention for Accurate Binary Neural Network
• Title（参考訳）: 正確なバイナリニューラルネットワークのための分布感度情報保持
• Authors: Haotong Qin, Xiangguo Zhang, Ruihao Gong, Yifu Ding, Yi Xu, XianglongLiu
• Abstract要約: 本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
• 参考スコア（独自算出の注目度）: 49.971345958676196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model binarization is an effective method of compressing neural networks and accelerating their inference process, which enables state-of-the-art models to run on resource-limited devices. However, a significant performance gap still exists between the 1-bit model and the 32-bit one. The empirical study shows that binarization causes a great loss of information in the forward and backward propagation which harms the performance of binary neural networks (BNNs), and the limited information representation ability of binarized parameter is one of the bottlenecks of BNN performance. We present a novel Distribution-sensitive Information Retention Network (DIR-Net) to retain the information of the forward activations and backward gradients, which improves BNNs by distribution-sensitive optimization without increasing the overhead in the inference process. The DIR-Net mainly relies on two technical contributions: (1) Information Maximized Binarization (IMB): minimizing the information loss and the quantization error of weights/activations simultaneously by balancing and standardizing the weight distribution in the forward propagation; (2) Distribution-sensitive Two-stage Estimator (DTE): minimizing the information loss of gradients by gradual distribution-sensitive approximation of the sign function in the backward propagation, jointly considering the updating capability and accurate gradient. The DIR-Net investigates both forward and backward processes of BNNs from the unified information perspective, thereby provides new insight into the mechanism of network binarization. Comprehensive experiments on CIFAR-10 and ImageNet datasets show our DIR-Net consistently outperforms the SOTA binarization approaches under mainstream and compact architectures. Additionally, we conduct our DIR-Net on real-world resource-limited devices which achieves 11.1 times storage saving and 5.4 times speedup.
• Abstract（参考訳）: モデルバイナリ化は、ニューラルネットワークを圧縮し、その推論プロセスを加速する効果的な方法である。 しかし、1ビットモデルと32ビットモデルの間には大きな性能差が残っている。 実証実験により、二項化は二項化ニューラルネットワーク(BNN)の性能を損なう前方・後方伝播における情報の大きな損失を引き起こすことが示され、二項化パラメータの限られた情報表現能力はBNN性能のボトルネックの1つである。 本稿では, 予測処理のオーバーヘッドを増大させることなく, 分散感応最適化によりBNNを改良し, 前方アクティベーションと後方勾配の情報を保持する新しい情報保持ネットワーク(DIR-Net)を提案する。 The DIR-Net mainly relies on two technical contributions: (1) Information Maximized Binarization (IMB): minimizing the information loss and the quantization error of weights/activations simultaneously by balancing and standardizing the weight distribution in the forward propagation; (2) Distribution-sensitive Two-stage Estimator (DTE): minimizing the information loss of gradients by gradual distribution-sensitive approximation of the sign function in the backward propagation, jointly considering the updating capability and accurate gradient. DIR-Netは、統合情報の観点から、BNNの前方および後方プロセスの両方を調査し、ネットワークバイナライゼーションのメカニズムに関する新たな洞察を提供する。 CIFAR-10とImageNetデータセットに関する総合的な実験は、我々のDIR-Netが主流かつコンパクトなアーキテクチャ下でのSOTAバイナライゼーションアプローチを一貫して上回っていることを示している。 さらに、実世界のリソース制限されたデバイス上でdir-netを実施し、11.1倍のストレージ節約と5.4倍のスピードアップを実現します。

関連論文リスト

• BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network [55.21288428359509]
  既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。 本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。 我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
  論文  参考訳（メタデータ） (2024-05-27T10:44:05Z)
• IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck [4.523653503622693]
  IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。 IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。 CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-23T05:35:57Z)
• BiHRNet: A Binary high-resolution network for Human Pose Estimation [11.250422970707415]
  重みとアクティベーションを$pm$1と表現したBiHRNetという2値のポーズ推定器を提案する。 BiHRNetは、バイナリニューラルネットワーク(BNN)を適用することで、少ないコンピューティングリソースを使用しながら、HRNetのキーポイント抽出能力を保っている。 我々は、BiHRNetがMPIIデータセット上で87.9のPCKhを達成することを示す。
  論文  参考訳（メタデータ） (2023-11-17T03:01:37Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• IR2Net: Information Restriction and Information Recovery for Accurate Binary Neural Networks [24.42067007684169]
  重みとアクティベーションのバイナライゼーションは、ディープニューラルネットワークを効率よく圧縮し、モデル推論を加速するが、深刻な精度低下を引き起こす。 提案するIR$2$Netは,BNNのポテンシャルを刺激し,入力情報を制限し,特徴情報を復元することでネットワークの精度を向上させる。 実験の結果,ResNet-18 の sim 10x 浮動小数点演算 (FLOPs) の削減でも,本手法は依然として同等の精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-06T02:03:26Z)
• Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
  しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
  論文  参考訳（メタデータ） (2022-04-05T06:07:05Z)
• BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
  BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。 実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-14T05:16:53Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。