論文の概要: Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2103.00363v1
- Date: Sun, 28 Feb 2021 00:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:32:08.261241
- Title: Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search
- Title（参考訳）: Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search
- Authors: Guoyang Xie, Jinbao Wang, Guo Yu, Feng Zheng, Yaochu Jin
- Abstract要約: モバイルデバイスにデプロイされるほとんどのニューラルネットワークモデルは小さい。
しかし、小さなニューラルネットワークは一般に攻撃に対して非常に脆弱である。
私たちの研究は、モバイルレベルのリソースの下でクリーンな精度を損なうことなく、小さなニューラルネットワークの堅牢性を改善する方法にフォーカスしています。
- 参考スコア（独自算出の注目度）: 35.362883630015354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to limited computational cost and energy consumption, most neural network
models deployed in mobile devices are tiny. However, tiny neural networks are
commonly very vulnerable to attacks. Current research has proved that larger
model size can improve robustness, but little research focuses on how to
enhance the robustness of tiny neural networks. Our work focuses on how to
improve the robustness of tiny neural networks without seriously deteriorating
of clean accuracy under mobile-level resources. To this end, we propose a
multi-objective oneshot network architecture search (NAS) algorithm to obtain
the best trade-off networks in terms of the adversarial accuracy, the clean
accuracy and the model size. Specifically, we design a novel search space based
on new tiny blocks and channels to balance model size and adversarial
performance. Moreover, since the supernet significantly affects the performance
of subnets in our NAS algorithm, we reveal the insights into how the supernet
helps to obtain the best subnet under white-box adversarial attacks.
Concretely, we explore a new adversarial training paradigm by analyzing the
adversarial transferability, the width of the supernet and the difference
between training the subnets from scratch and fine-tuning. Finally, we make a
statistical analysis for the layer-wise combination of certain blocks and
channels on the first non-dominated front, which can serve as a guideline to
design tiny neural network architectures for the resilience of adversarial
perturbations.
- Abstract（参考訳）: 計算コストの制限とエネルギー消費のため、モバイルデバイスにデプロイされるほとんどのニューラルネットワークモデルは小さい。
しかし、小さなニューラルネットワークは一般に攻撃に対して非常に脆弱である。
現在の研究では、モデルサイズが大きくなるとロバスト性が向上することが証明されているが、小さなニューラルネットワークのロバスト性を高める方法に関する研究はほとんどない。
私たちの研究は、モバイルレベルのリソースの下でクリーンな精度を損なうことなく、小さなニューラルネットワークの堅牢性を改善する方法にフォーカスしています。
そこで本研究では, 対向的精度, クリーンな精度, モデルサイズという観点から, 最適なトレードオフネットワークを得るための, 多目的のワンショットネットワークアーキテクチャ探索(NAS)アルゴリズムを提案する。
具体的には,モデルサイズと逆行性能のバランスをとるために,新しい小ブロックとチャネルに基づく新しい検索空間を設計する。
さらに,このスーパーネットはNASアルゴリズムのサブネットの性能に大きく影響するため,ホワイトボックス攻撃下でスーパーネットが最適なサブネットを得るのにどのように役立つかを明らかにする。
具体的には,逆転性,スーパーネットの幅,スクラッチから微調整までのトレーニングの違いを解析することにより,新たな逆転訓練パラダイムを探求する。
最後に、第1の非支配フロント上の特定のブロックとチャネルの階層的結合に関する統計的解析を行い、敵の摂動のレジリエンスのための小さなニューラルネットワークアーキテクチャを設計するためのガイドラインとして機能する。
関連論文リスト
- Understanding Adversarial Robustness from Feature Maps of Convolutional
Layers [23.42376264664302]
ニューラルネットワークの摂動能力は、主にモデル容量と摂動能力の2つの要因に依存している。
畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。
自然な精度と敵の堅牢性の両面での非自明な改善は、様々な攻撃・防御機構の下で達成できる。
論文 参考訳（メタデータ） (2022-02-25T00:14:59Z) - A Layer-wise Adversarial-aware Quantization Optimization for Improving
Robustness [4.794745827538956]
逆向きに学習したニューラルネットワークは、通常のモデルよりも量子化損失に対して脆弱であることがわかった。
ニューラルネットワークの最適量子化パラメータ設定を選択するために,Lipschitz定数を用いた層ワイド逆アウェア量子化法を提案する。
実験結果から,本手法は,量子化逆学習ニューラルネットワークのロバスト性を効果的かつ効果的に向上できることが示された。
論文 参考訳（メタデータ） (2021-10-23T22:11:30Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。
Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
論文 参考訳（メタデータ） (2021-09-02T13:58:12Z) - Pruning in the Face of Adversaries [0.0]
ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。
その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。
分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
論文 参考訳（メタデータ） (2021-08-19T09:06:16Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Improving Neural Network Robustness through Neighborhood Preserving
Layers [0.751016548830037]
このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。
我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
論文 参考訳（メタデータ） (2021-01-28T01:26:35Z) - Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。
本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
論文 参考訳（メタデータ） (2020-10-03T04:46:17Z) - Firearm Detection and Segmentation Using an Ensemble of Semantic Neural
Networks [62.997667081978825]
本稿では,意味的畳み込みニューラルネットワークのアンサンブルに基づく兵器検出システムを提案する。
特定のタスクに特化した単純なニューラルネットワークのセットは、計算リソースを少なくし、並列にトレーニングすることができる。
個々のネットワークの出力の集約によって与えられるシステムの全体的な出力は、ユーザが偽陽性と偽陰性とをトレードオフするように調整することができる。
論文 参考訳（メタデータ） (2020-02-11T13:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。