論文の概要: Improving Binary Neural Networks through Fully Utilizing Latent Weights

• arxiv url: http://arxiv.org/abs/2110.05850v1
• Date: Tue, 12 Oct 2021 09:32:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 14:51:36.860669
• Title: Improving Binary Neural Networks through Fully Utilizing Latent Weights
• Title（参考訳）: 潜在重みをフル活用したバイナリニューラルネットワークの改善
• Authors: Weixiang Xu, Qiang Chen, Xiangyu He, Peisong Wang, Jian Cheng
• Abstract要約: 潜伏変数として振る舞うことに加え、トレーニングにおけるWの役割を探求する。 グラデーショングラフにWを追加し、バイナリトレーニングを支援するために実値の特徴抽出器として機能させる。
• 参考スコア（独自算出の注目度）: 35.61710911184633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Networks (BNNs) rely on a real-valued auxiliary variable W to help binary training. However, pioneering binary works only use W to accumulate gradient updates during backward propagation, which can not fully exploit its power and may hinder novel advances in BNNs. In this work, we explore the role of W in training besides acting as a latent variable. Notably, we propose to add W into the computation graph, making it perform as a real-valued feature extractor to aid the binary training. We make different attempts on how to utilize the real-valued weights and propose a specialized supervision. Visualization experiments qualitatively verify the effectiveness of our approach in making it easier to distinguish between different categories. Quantitative experiments show that our approach outperforms current state-of-the-arts, further closing the performance gap between floating-point networks and BNNs. Evaluation on ImageNet with ResNet-18 (Top-1 63.4%), ResNet-34 (Top-1 67.0%) achieves new state-of-the-art.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、バイナリトレーニングを支援するために、実数値の補助変数Wに依存する。 しかしながら、先駆的なバイナリワークは、wを使用して後方伝播中に勾配更新を蓄積するだけであり、そのパワーを十分に活用できず、bnnの新たな進歩を妨げる可能性がある。 本研究は,潜伏変数として機能する以外に,トレーニングにおけるWの役割について考察する。 特に、計算グラフにWを加えることを提案し、バイナリトレーニングを支援するために、実数値の特徴抽出器として機能させる。 我々は、実際の重みの活用方法の異なる試みを行い、専門的な監督を提案する。 可視化実験は、異なるカテゴリを区別しやすくするためのアプローチの有効性を質的に検証する。 定量的実験により,本手法は現状よりも優れた性能を示し,浮動小数点ネットワークとBNNの性能ギャップを埋める。 ResNet-18 (Top-1 63.4%)、ResNet-34 (Top-1 67.0%)によるImageNetの評価は、新しい最先端技術を実現する。

関連論文リスト

• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• Boosting Binary Neural Networks via Dynamic Thresholds Learning [21.835748440099586]
  我々はDySignを導入し、情報損失を減らし、BNNの代表能力を高める。 DCNNでは、2つのバックボーンに基づくDyBCNNが、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。 ViTsの場合、DyCCTはImageNetデータセット上で完全にバイナライズされたViTsと56.1%のコンボリューショナル埋め込み層の優位性を示す。
  論文  参考訳（メタデータ） (2022-11-04T07:18:21Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Network Binarization via Contrastive Learning [16.274341164897827]
  バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。 以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T21:04:53Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning [37.376989855065545]
  Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。 時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。 実験は、フル精度実装に関するパフォーマンス損失を検証します。
  論文  参考訳（メタデータ） (2020-12-15T14:06:36Z)
• Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
  本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。 ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-10T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。