論文の概要: AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets
- arxiv url: http://arxiv.org/abs/2208.08084v1
- Date: Wed, 17 Aug 2022 05:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 12:58:04.788996
- Title: AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets
- Title（参考訳）: AdaBin: 適応バイナリセットによるバイナリニューラルネットワークの改善
- Authors: Zhijun Tu, Xinghao Chen, Pengju Ren, Yunhe Wang
- Abstract要約: 本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。
最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
- 参考スコア（独自算出の注目度）: 27.022212653067367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the Binary Neural Networks (BNNs) in which weights and
activations are both binarized into 1-bit values, thus greatly reducing the
memory usage and computational complexity. Since the modern deep neural
networks are of sophisticated design with complex architecture for the accuracy
reason, the diversity on distributions of weights and activations is very high.
Therefore, the conventional sign function cannot be well used for effectively
binarizing full-precision values in BNNs. To this end, we present a simple yet
effective approach called AdaBin to adaptively obtain the optimal binary sets
$\{b_1, b_2\}$ ($b_1, b_2\in \mathbb{R}$) of weights and activations for each
layer instead of a fixed set (i.e., $\{-1, +1\}$). In this way, the proposed
method can better fit different distributions and increase the representation
ability of binarized features. In practice, we use the center position and
distance of 1-bit values to define a new binary quantization function. For the
weights, we propose an equalization method to align the symmetrical center of
binary distribution to real-valued distribution, and minimize the
Kullback-Leibler divergence of them. Meanwhile, we introduce a gradient-based
optimization method to get these two parameters for activations, which are
jointly trained in an end-to-end manner. Experimental results on benchmark
models and datasets demonstrate that the proposed AdaBin is able to achieve
state-of-the-art performance. For instance, we obtain a 66.4\% Top-1 accuracy
on the ImageNet using ResNet-18 architecture, and a 69.4 mAP on PASCAL VOC
using SSD300.
- Abstract（参考訳）: 本稿では,重みとアクティベーションを2値に分けたBNN(Binary Neural Networks)について検討し,メモリ使用量と計算量を大幅に削減する。
現代のディープニューラルネットワークは、精度の理由から複雑なアーキテクチャを持つ洗練された設計であるため、重みとアクティベーションの分布の多様性は非常に高い。
したがって、従来の手話関数はBNNの完全精度値を効果的にバイナライズするのにうまく利用できない。
この目的のために、AdaBin と呼ばれる単純で効果的なアプローチを提案し、固定された集合(つまり${-1, +1\}$)の代わりに各層の重みと活性化の最適二進集合 $\{b_1, b_2\}$$$$$(b_1, b_2\in \mathbb{R}$) を適応的に得る。
このようにして,提案手法は異なる分布に適合し,二元化特徴の表現能力を高めることができる。
実際には、新しいバイナリ量子化関数を定義するために、1ビット値の中心位置と距離を用いる。
重みについて,二元分布の対称中心を実数値分布に整合させる等化法を提案し,そのカルバック・リーバーの発散を最小化する。
また,これら2つのアクティベーションパラメータをエンドツーエンドで共同でトレーニングするための勾配に基づく最適化手法を提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたadabinが最先端のパフォーマンスを達成できることを示しています。
例えば、ResNet-18アーキテクチャを用いてImageNet上で66.4\%のTop-1精度、SSD300を用いてPASCAL VOC上で69.4mAPを得る。
関連論文リスト
- Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳（メタデータ） (2023-05-17T15:36:08Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - Partial Binarization of Neural Networks for Budget-Aware Efficient
Learning [10.613066533991292]
バイナリ化はニューラルネットワークの強力な圧縮技術である。
そこで我々は,MixBin戦略を用いた予算付きバイナリニューラルネットワーク(B2NN)の構築により,部分バイナライゼーションの制御手法を提案する。
論文 参考訳（メタデータ） (2022-11-12T20:30:38Z) - Towards Accurate Binary Neural Networks via Modeling Contextual
Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。
本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文 参考訳（メタデータ） (2022-09-03T11:51:04Z) - Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。
バイモーダル分散バイナライゼーション法(メソッド名)を提案する。
これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
論文 参考訳（メタデータ） (2022-04-05T06:07:05Z) - Exact Backpropagation in Binary Weighted Networks with Group Weight
Transformations [0.0]
量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。
重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
論文 参考訳（メタデータ） (2021-07-03T10:29:34Z) - A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。
本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。
提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
論文 参考訳（メタデータ） (2021-04-11T22:20:09Z) - Binarization Methods for Motor-Imagery Brain-Computer Interface
Classification [18.722731794073756]
本稿では,実数値重みを2進数に変換する手法を提案する。
2次埋め込みの次元を調整することにより、4級MI(leq$1.27%以下)で、float16重みを持つモデルと比較してほぼ同じ精度を達成する。
提案手法は,CNNの完全連結層をバイポーラランダムプロジェクションを用いたバイナリ拡張メモリに置き換える。
論文 参考訳（メタデータ） (2020-10-14T12:28:18Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳（メタデータ） (2020-07-10T07:55:39Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。