論文の概要: Bimodal Distributed Binarized Neural Networks

• arxiv url: http://arxiv.org/abs/2204.02004v1
• Date: Tue, 5 Apr 2022 06:07:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 13:02:39.557249
• Title: Bimodal Distributed Binarized Neural Networks
• Title（参考訳）: バイモーダル分散二元化ニューラルネットワーク
• Authors: Tal Rozen, Moshe Kimhi, Brian Chmiel, Avi Mendelson, Chaim Baskin
• Abstract要約: しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
• 参考スコア（独自算出の注目度）: 3.0778860202909657
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Binary Neural Networks (BNNs) are an extremely promising method to reduce deep neural networks' complexity and power consumption massively. Binarization techniques, however, suffer from ineligible performance degradation compared to their full-precision counterparts. Prior work mainly focused on strategies for sign function approximation during forward and backward phases to reduce the quantization error during the binarization process. In this work, we propose a Bi-Modal Distributed binarization method (\methodname{}). That imposes bi-modal distribution of the network weights by kurtosis regularization. The proposed method consists of a training scheme that we call Weight Distribution Mimicking (WDM), which efficiently imitates the full-precision network weight distribution to their binary counterpart. Preserving this distribution during binarization-aware training creates robust and informative binary feature maps and significantly reduces the generalization error of the BNN. Extensive evaluations on CIFAR-10 and ImageNet demonstrate the superiority of our method over current state-of-the-art schemes. Our source code, experimental settings, training logs, and binary models are available at \url{https://github.com/BlueAnon/BD-BNN}.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、ディープニューラルネットワークの複雑さと消費電力を大幅に削減する、極めて有望な方法である。 しかし、二元化技法は、全精度法に比べて性能の低下に苦しむ。 先行研究は主に2値化過程における量子化誤差を低減すべく、前方および後方位相における符号関数近似の戦略に焦点を当てた。 本研究では,bi-modal分散バイナリ化手法(\methodname{})を提案する。 これはクルトシスの正規化によってネットワークの重みのバイモーダル分布を課す。 提案手法は,重み分布模倣 (wdm) と呼ばれる,全精度ネットワーク重み分布を2進法に効果的に模倣する訓練手法である。 バイナライゼーション・アウェアトレーニング中にこの分布を保存することで、堅牢で情報に富む2値特徴写像が生成され、BNNの一般化誤差が大幅に低減される。 CIFAR-10 と ImageNet の大規模評価は,現在の最先端方式よりも提案手法が優れていることを示す。 ソースコード、実験的な設定、トレーニングログ、バイナリモデルは、 \url{https://github.com/BlueAnon/BD-BNN}で利用可能です。

関連論文リスト

• Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
  バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。 この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
  論文  参考訳（メタデータ） (2023-06-23T14:32:16Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Partial Binarization of Neural Networks for Budget-Aware Efficient Learning [10.613066533991292]
  バイナリ化はニューラルネットワークの強力な圧縮技術である。 そこで我々は,MixBin戦略を用いた予算付きバイナリニューラルネットワーク(B2NN)の構築により,部分バイナライゼーションの制御手法を提案する。
  論文  参考訳（メタデータ） (2022-11-12T20:30:38Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies [52.691032025163175]
  既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。 本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
  論文  参考訳（メタデータ） (2022-09-03T11:51:04Z)
• AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
  本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。 最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。 ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
  論文  参考訳（メタデータ） (2022-08-17T05:43:33Z)
• Network Binarization via Contrastive Learning [16.274341164897827]
  バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。 以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T21:04:53Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution [12.46127622357824]
  非平衡な活性化分布はBNNの精度を実際に向上させることができることを示す。 また、二項活性化関数のしきい値を調整することにより、二項活性化関数の不均衡分布が生じることを示す。 実験結果から,バイナリアクティベーション関数のしきい値を簡単にシフトすることで,従来のBNNモデルの精度を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-12-02T02:49:53Z)
• Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
  本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。 ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-10T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。