論文の概要: RA-BNN: Constructing Robust & Accurate Binary Neural Network to
Simultaneously Defend Adversarial Bit-Flip Attack and Improve Accuracy
- arxiv url: http://arxiv.org/abs/2103.13813v1
- Date: Mon, 22 Mar 2021 20:50:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 13:45:04.690236
- Title: RA-BNN: Constructing Robust & Accurate Binary Neural Network to
Simultaneously Defend Adversarial Bit-Flip Attack and Improve Accuracy
- Title（参考訳）: RA-BNN: 逆ビットフリップ攻撃の同時防止と精度向上のためのロバスト・高精度バイナリニューラルネットワークの構築
- Authors: Adnan Siraj Rakin, Li Yang, Jingtao Li, Fan Yao, Chaitali Chakrabarti,
Yu Cao, Jae-sun Seo, and Deliang Fan
- Abstract要約: 重量攻撃、a.k.a。
bit-flip attack(BFA)は、Deep Neural Network(DNN)のパフォーマンス向上に大きく成功している。
完全バイナリー(重みと活性化の両方)ニューラルネットワーク(BNN)を採用したRA-BNNを提案する。
RA-BNNは,ベースラインBNNと比較して2～8 %の精度向上を実現し,BFAに対する耐性を125 倍以上向上できることを示した。
- 参考スコア（独自算出の注目度）: 32.94007834188562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently developed adversarial weight attack, a.k.a. bit-flip attack (BFA),
has shown enormous success in compromising Deep Neural Network (DNN)
performance with an extremely small amount of model parameter perturbation. To
defend against this threat, we propose RA-BNN that adopts a complete binary
(i.e., for both weights and activation) neural network (BNN) to significantly
improve DNN model robustness (defined as the number of bit-flips required to
degrade the accuracy to as low as a random guess). However, such an aggressive
low bit-width model suffers from poor clean (i.e., no attack) inference
accuracy. To counter this, we propose a novel and efficient two-stage network
growing method, named Early-Growth. It selectively grows the channel size of
each BNN layer based on channel-wise binary masks training with Gumbel-Sigmoid
function. Apart from recovering the inference accuracy, our RA-BNN after
growing also shows significantly higher resistance to BFA. Our evaluation of
the CIFAR-10 dataset shows that the proposed RA-BNN can improve the clean model
accuracy by ~2-8 %, compared with a baseline BNN, while simultaneously
improving the resistance to BFA by more than 125 x. Moreover, on ImageNet, with
a sufficiently large (e.g., 5,000) amount of bit-flips, the baseline BNN
accuracy drops to 4.3 % from 51.9 %, while our RA-BNN accuracy only drops to
37.1 % from 60.9 % (9 % clean accuracy improvement).
- Abstract（参考訳）: 最近開発された対向重量攻撃(a.k.a.)。
bit-flip attack (BFA)は、非常に少量のモデルパラメータ摂動でディープニューラルネットワーク(DNN)のパフォーマンスを向上することに成功した。
この脅威から守るため,我々は,完全なバイナリ(重みとアクティベーションの両方)を用いたra-bnnを提案する。ニューラルネットワーク(bnn)により,dnnモデルのロバスト性が大幅に向上する(精度を無作為な推測と同じくらい低くするために必要なビットフリップ数として定義される)。
しかし、そのような攻撃的な低ビット幅モデルは、クリーンな推論精度(すなわち攻撃なし)に苦しむ。
そこで本研究では,新規かつ効率的な2段階ネットワーク成長手法であるアーリーグロースを提案する。
Gumbel-Sigmoid関数でトレーニングしたチャネルワイドのバイナリマスクに基づいて,各BNN層のチャネルサイズを選択的に拡大する。
推測精度の回復は別として,成長後のRA-BNNはBFAに対する耐性が有意に高かった。
CIFAR-10データセットを評価したところ,提案したRA-BNNはベースラインBNNと比較して約2～8 %の精度向上が可能であり,BFAに対する耐性は125倍以上向上することがわかった。
さらにimagenetでは、ビットフリップ量が十分に大きい(例えば5,000)場合、ベースラインbnnの精度は51.9%から4.3%に低下し、ra-bnnの精度は60.9%から37.1%に低下する(9%クリーン精度改善)。
関連論文リスト
- NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳（メタデータ） (2024-08-28T02:17:58Z) - Masked Bayesian Neural Networks : Theoretical Guarantee and its
Posterior Inference [1.2722697496405464]
本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。
我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。
さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-05-24T06:16:11Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T16:14:44Z) - Shift-BNN: Highly-Efficient Probabilistic Bayesian Neural Network
Training via Memory-Friendly Pattern Retrieving [5.043640793217879]
私たちは、低コストでスケーラブルなShift-BNNと呼ばれる、最初の高効率なBNNトレーニングアクセラレータを設計し、プロトタイプを作りました。
Shift-BNNはエネルギー効率が平均4.9倍(最大10.8倍)向上し、1.6倍(最大2.8倍)のスピードアップを実現している。
論文 参考訳（メタデータ） (2021-10-07T15:20:53Z) - "BNN - BN = ?": Training Binary Neural Networks without Batch
Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである
BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文 参考訳（メタデータ） (2021-04-16T16:46:57Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。
我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文 参考訳（メタデータ） (2020-10-19T08:11:48Z) - Crossed-Time Delay Neural Network for Speaker Recognition [5.216353911330589]
我々は,現在のTDNNの性能を高めるために,新しい構造であるCrossed-Time Delay Neural Network (CTDNN)を導入する。
提案したCTDNNは,話者認証タスクと識別タスクの両方において,元のTDNNよりも大幅に改善されている。
論文 参考訳（メタデータ） (2020-05-31T06:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。