論文の概要: Recurrent Bilinear Optimization for Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2209.01542v1
• Date: Sun, 4 Sep 2022 06:45:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 13:54:48.731798
• Title: Recurrent Bilinear Optimization for Binary Neural Networks
• Title（参考訳）: 二元系ニューラルネットワークの繰り返し双線型最適化
• Authors: Sheng Xu, Yanjing Li, Tiancheng Wang, Teli Ma, Baochang Zhang, Peng Gao, Yu Qiao, Jinhu Lv and Guodong Guo
• Abstract要約: BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
• 参考スコア（独自算出の注目度）: 58.972212365275595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Binary Neural Networks (BNNs) show great promise for real-world embedded devices. As one of the critical steps to achieve a powerful BNN, the scale factor calculation plays an essential role in reducing the performance gap to their real-valued counterparts. However, existing BNNs neglect the intrinsic bilinear relationship of real-valued weights and scale factors, resulting in a sub-optimal model caused by an insufficient training process. To address this issue, Recurrent Bilinear Optimization is proposed to improve the learning process of BNNs (RBONNs) by associating the intrinsic bilinear variables in the back propagation process. Our work is the first attempt to optimize BNNs from the bilinear perspective. Specifically, we employ a recurrent optimization and Density-ReLU to sequentially backtrack the sparse real-valued weight filters, which will be sufficiently trained and reach their performance limits based on a controllable learning process. We obtain robust RBONNs, which show impressive performance over state-of-the-art BNNs on various models and datasets. Particularly, on the task of object detection, RBONNs have great generalization performance. Our code is open-sourced on https://github.com/SteveTsui/RBONN .
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、現実世界の組み込みデバイスに非常に有望である。 強力なBNNを実現するための重要なステップの1つとして、スケールファクターの計算は、実際の評価値に対するパフォーマンスギャップを減らす上で重要な役割を果たす。 しかし、既存のbnnは実値重みとスケール因子の固有双線型関係を無視し、不十分なトレーニングプロセスによって生じる最適以下のモデルとなる。 この問題に対処するために,BNN(RBONN)の学習過程を改善するために,バック伝搬過程における固有双線形変数を関連付けることを提案する。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 具体的には,リカレント最適化と密度reluを用いて,実値の少ない重み付きフィルタを逐次バックトラックし,制御可能な学習プロセスに基づいて,その性能限界に達する。 我々は、様々なモデルやデータセット上で最先端のBNNよりも優れた性能を示す頑健なRBONNを得る。 特にオブジェクト検出のタスクにおいて、RBONNは高い一般化性能を持つ。 私たちのコードはhttps://github.com/SteveTsui/RBONNで公開されています。

関連論文リスト

• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)
• A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
  Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。 本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。 提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
  論文  参考訳（メタデータ） (2021-04-11T22:20:09Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning [37.376989855065545]
  Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。 時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。 実験は、フル精度実装に関するパフォーマンス損失を検証します。
  論文  参考訳（メタデータ） (2020-12-15T14:06:36Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。