論文の概要: ReCU: Reviving the Dead Weights in Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2103.12369v1
• Date: Tue, 23 Mar 2021 08:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 00:31:53.696584
• Title: ReCU: Reviving the Dead Weights in Binary Neural Networks
• Title（参考訳）: ReCU: バイナリニューラルネットワークのデッドウェイトを復活させる
• Authors: Zihan Xu, Mingbao Lin, Jianzhuang Liu, Jie Chen, Ling Shao, Yue Gao, Yonghong Tian, Rongrong Ji
• Abstract要約: 我々は,BNNのトレーニング中にほとんど更新されない重みのグループを指す「死重み」の影響について検討する。 ReCUによる「死重み」の復活は、量子化誤差が小さくなることを示す。 提案手法は,高速なBNNトレーニングだけでなく,CIFAR-10およびImageNet上での最先端のパフォーマンスも提供する。
• 参考スコア（独自算出の注目度）: 153.6789340484509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Binary neural networks (BNNs) have received increasing attention due to their superior reductions of computation and memory. Most existing works focus on either lessening the quantization error by minimizing the gap between the full-precision weights and their binarization or designing a gradient approximation to mitigate the gradient mismatch, while leaving the "dead weights" untouched. This leads to slow convergence when training BNNs. In this paper, for the first time, we explore the influence of "dead weights" which refer to a group of weights that are barely updated during the training of BNNs, and then introduce rectified clamp unit (ReCU) to revive the "dead weights" for updating. We prove that reviving the "dead weights" by ReCU can result in a smaller quantization error. Besides, we also take into account the information entropy of the weights, and then mathematically analyze why the weight standardization can benefit BNNs. We demonstrate the inherent contradiction between minimizing the quantization error and maximizing the information entropy, and then propose an adaptive exponential scheduler to identify the range of the "dead weights". By considering the "dead weights", our method offers not only faster BNN training, but also state-of-the-art performance on CIFAR-10 and ImageNet, compared with recent methods. Code can be available at [this https URL](https://github.com/z-hXu/ReCU).
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、計算とメモリの大幅な削減により注目を集めている。 既存のほとんどの研究は、完全精度の重みと双項化の間のギャップを最小化することによる量子化誤差の低減、あるいは勾配のミスマッチを軽減するために勾配近似を設計することに焦点を当てている。 これにより、BNNのトレーニング時の収束が遅くなる。 本稿では,BNNのトレーニング中にほとんど更新されていない重み群に対する「死重み」の影響を初めて検討し,更新のための「死重み」を復活させるために修正クランプユニット(ReCU)を導入する。 ReCUによる「死重み」の復活は、量子化誤差が小さくなることを示す。 さらに、重みの情報エントロピーも考慮し、重みの標準化がBNNにとって有益である理由を数学的に分析する。 量子化誤差の最小化と情報エントロピーの最大化との間に本質的な矛盾を示すとともに,「死重み」の範囲を同定するための適応型指数型スケジューラを提案する。 CIFAR-10 や ImageNet 上での高速な BNN 訓練だけでなく,近年の手法と比較して最先端のパフォーマンスも実現している。 コードは[このhttps URL](https://github.com/z-hXu/ReCU)で入手できる。

関連論文リスト

• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• OvSW: Overcoming Silent Weights for Accurate Binary Neural Networks [19.41917323210239]
  バイナリニューラルネットワーク(BNN)における重み付け更新の効率性について検討する。 バニラBNNでは、トレーニング中に重量の50%以上が変化していない。 この問題に対処するために、オーバーカム・サイレント・ウェイト(OvSW)を提案する。
  論文  参考訳（メタデータ） (2024-07-07T05:01:20Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• Resilient Binary Neural Network [26.63280603795981]
  我々は、BNNのトレーニングを改善するために、頻繁な振動を軽減するためにResilient Binary Neural Network (ReBNN)を導入する。 私たちのReBNNは、ImageNetデータセット上のResNet-18バックボーンで、66.9%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2023-02-02T08:51:07Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)
• SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
  重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。 二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
  論文  参考訳（メタデータ） (2021-02-16T07:03:51Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• FU-net: Multi-class Image Segmentation Using Feedback Weighted U-net [5.193724835939252]
  マルチクラス画像分割のための汎用ディープ畳み込みニューラルネットワーク(DCNN)を提案する。 U-netとして知られる、よく確立された教師付きエンドツーエンドDCNNモデルに基づいている。
  論文  参考訳（メタデータ） (2020-04-28T13:08:14Z)
• Train-by-Reconnect: Decoupling Locations of Weights from their Values [6.09170287691728]
  トレーニングされていないディープニューラルネットワーク(DNN)は、トレーニングされたニューラルネットワークとは異なることを示す。 重みをリコネクションすることでDNNをトレーニングするためのLookahead Permutation(LaPerm)という新しい手法を提案する。 初期重みが1つの値を共有すると、我々の手法はより精度のよい重み付きニューラルネットワークを見つける。
  論文  参考訳（メタデータ） (2020-03-05T12:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。