論文の概要: Resilient Binary Neural Network

• arxiv url: http://arxiv.org/abs/2302.00956v1
• Date: Thu, 2 Feb 2023 08:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 14:38:03.534614
• Title: Resilient Binary Neural Network
• Title（参考訳）: Resilient Binary Neural Network
• Authors: Sheng Xu, Yanjing Li, Teli Ma, Mingbao Lin, Hao Dong, Baochang Zhang, Peng Gao, Jinhu Lv
• Abstract要約: 我々は、BNNのトレーニングを改善するために、頻繁な振動を軽減するためにResilient Binary Neural Network (ReBNN)を導入する。 以上の結果から,先行技術に対するReBNNの圧倒的な性能が示された。
• 参考スコア（独自算出の注目度）: 26.63280603795981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Binary neural networks (BNNs) have received ever-increasing popularity for their great capability of reducing storage burden as well as quickening inference time. However, there is a severe performance drop compared with {real-valued} networks, due to its intrinsic frequent weight oscillation during training. In this paper, we introduce a Resilient Binary Neural Network (ReBNN) to mitigate the frequent oscillation for better BNNs' training. We identify that the weight oscillation mainly stems from the non-parametric scaling factor. To address this issue, we propose to parameterize the scaling factor and introduce a weighted reconstruction loss to build an adaptive training objective. %To the best of our knowledge, it is the first work to solve BNNs based on a dynamically re-weighted loss function. For the first time, we show that the weight oscillation is controlled by the balanced parameter attached to the reconstruction loss, which provides a theoretical foundation to parameterize it in back propagation. Based on this, we learn our ReBNN by {calculating} the {balanced} parameter {based on} its maximum magnitude, which can effectively mitigate the weight oscillation with a resilient training process. Extensive experiments are conducted upon various network models, such as ResNet and Faster-RCNN for computer vision, as well as BERT for natural language processing. The results demonstrate the overwhelming performance of our ReBNN over prior arts. For example, our ReBNN achieves 66.9\% Top-1 accuracy with ResNet-18 backbone on the ImageNet dataset, surpassing existing state-of-the-arts by a significant margin. Our code is open-sourced at https://github.com/SteveTsui/ReBNN.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、ストレージ負荷を低減し、推論時間を短縮する優れた能力によって、ますます人気が高まっている。 しかし,本質的なトレーニング時の重み振動が頻繁に発生するため,実数値ネットワークに比べて性能が低下している。 本稿では、高頻度発振を緩和し、BNNのトレーニングを改善するためにResilient Binary Neural Network(ReBNN)を提案する。 重みの振動は主に非パラメトリックなスケーリング係数に起因していることが明らかとなった。 この問題に対処するために,スケーリング係数のパラメータ化と重み付き再構成損失を導入し,適応的なトレーニング目標を構築することを提案する。 % 我々の知る限りでは、動的に再重み付けされた損失関数に基づいてBNNを解くのは初めてである。 まず, 重み振動は復元損失に付随する平衡パラメータによって制御され, バック伝搬におけるパラメータ化の理論的基礎となることを示す。 そこで我々は,その最大等級に基づいてパラメータ { balanced} を計算することで,ReBNNを学習し,弾力性トレーニングプロセスによる重み振動を効果的に軽減する。 コンピュータビジョンのためのResNetやFaster-RCNN、自然言語処理のためのBERTなど、さまざまなネットワークモデルで大規模な実験が行われている。 その結果,先行技術に対するReBNNの圧倒的な性能が示された。 例えば、私たちのReBNNは、ImageNetデータセットのResNet-18バックボーンを使用して、66.9\% Top-1の精度を達成しています。 私たちのコードはhttps://github.com/SteveTsui/ReBNN.comで公開されている。

関連論文リスト

• TT-SNN: Tensor Train Decomposition for Efficient Spiking Neural Network Training [27.565726483503838]
  スパイキングニューラルネットワーク(TT-SNN)の列車分解について紹介する。 TT-SNNはトレーニング可能な重量分解によってモデルサイズを削減し、ストレージ、FLOP、レイテンシーを削減した。 また,典型的な逐次テンソル計算の代替として並列計算を提案する。
  論文  参考訳（メタデータ） (2024-01-15T23:08:19Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks [23.45606380793965]
  ニューラルネットワーク重みを2進(+1/-1)および3進(+1/0/-1)値に強く量子化する手法であるランダム分割緩和(RPR)を提案する。 我々は,GoogLeNetの最先端以上の精度とResNet-18とResNet-50の競合性能を有する二進級および三進級のネットワークを実証した。
  論文  参考訳（メタデータ） (2020-01-04T15:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。