論文の概要: Rotated Binary Neural Network

• arxiv url: http://arxiv.org/abs/2009.13055v3
• Date: Thu, 22 Oct 2020 09:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:57:49.390764
• Title: Rotated Binary Neural Network
• Title（参考訳）: 回転二元ニューラルネットワーク
• Authors: Mingbao Lin, Rongrong Ji, Zihan Xu, Baochang Zhang, Yan Wang, Yongjian Wu, Feiyue Huang, Chia-Wen Lin
• Abstract要約: バイナリニューラルネットワーク(BNN)は、ディープニューラルネットワークの複雑さの低減において、その優位性を示している。 主要な障害の1つは、全精度重みベクトルとその二乗ベクトルの間の大きな量子化誤差である。 本稿では,全精度重みベクトルとバイナライズ版との角度アライメントを考慮した回転2成分ニューラルネットワーク(RBNN)を提案する。
• 参考スコア（独自算出の注目度）: 138.89237044931937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Network (BNN) shows its predominance in reducing the complexity of deep neural networks. However, it suffers severe performance degradation. One of the major impediments is the large quantization error between the full-precision weight vector and its binary vector. Previous works focus on compensating for the norm gap while leaving the angular bias hardly touched. In this paper, for the first time, we explore the influence of angular bias on the quantization error and then introduce a Rotated Binary Neural Network (RBNN), which considers the angle alignment between the full-precision weight vector and its binarized version. At the beginning of each training epoch, we propose to rotate the full-precision weight vector to its binary vector to reduce the angular bias. To avoid the high complexity of learning a large rotation matrix, we further introduce a bi-rotation formulation that learns two smaller rotation matrices. In the training stage, we devise an adjustable rotated weight vector for binarization to escape the potential local optimum. Our rotation leads to around 50% weight flips which maximize the information gain. Finally, we propose a training-aware approximation of the sign function for the gradient backward. Experiments on CIFAR-10 and ImageNet demonstrate the superiorities of RBNN over many state-of-the-arts. Our source code, experimental settings, training logs and binary models are available at https://github.com/lmbxmu/RBNN.
• Abstract（参考訳）: binary neural network (bnn) は、ディープニューラルネットワークの複雑さを減らすことに重点を置いている。 しかし、深刻な性能低下に悩まされる。 主要な障害の1つは、全精度重みベクトルとその二乗ベクトルの間の大きな量子化誤差である。 以前の作業では、角バイアスがほとんど触れられずに、標準ギャップの補償に焦点を当てていた。 本稿では,角偏差が量子化誤差に与える影響を初めて検討し,全精度重みベクトルとその二項化バージョンとの角度アライメントを考慮した回転二項ニューラルネットワーク(RBNN)を導入する。 各トレーニングエポックの開始時に,全精度重みベクトルを2進ベクトルに回転させて角バイアスを低減することを提案する。 さらに,大きな回転行列の学習が複雑になるのを避けるため,より小さい2つの回転行列を学習するバイローテーション式を導入する。 トレーニング段階では,二項化のための調整可能な回転重みベクトルを考案し,潜在的局所最適化から逃れる。 我々の回転は、情報ゲインを最大化する約50%のウェイトフリップにつながる。 最後に,逆勾配に対する符号関数のトレーニング対応近似を提案する。 CIFAR-10とImageNetの実験は、多くの最先端技術よりもRBNNの方が優れていることを示した。 ソースコード、実験的な設定、トレーニングログ、バイナリモデルはhttps://github.com/lmbxmu/RBNN.orgで公開されています。

関連論文リスト

• Understanding Neural Network Binarization with Forward and Backward Proximal Quantizers [26.27829662433536]
  ニューラルネットワークバイナライゼーションでは、BinaryConnect(BC)とその変種が標準とされている。 最適化の観点から、これらのトレーニングのトリックにいくつかの光を当てることを目指しています。
  論文  参考訳（メタデータ） (2024-02-27T17:43:51Z)
• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• Resilient Binary Neural Network [26.63280603795981]
  我々は、BNNのトレーニングを改善するために、頻繁な振動を軽減するためにResilient Binary Neural Network (ReBNN)を導入する。 私たちのReBNNは、ImageNetデータセット上のResNet-18バックボーンで、66.9%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2023-02-02T08:51:07Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
  しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
  論文  参考訳（メタデータ） (2022-04-05T06:07:05Z)
• SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
  重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。 二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
  論文  参考訳（メタデータ） (2021-02-16T07:03:51Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。