論文の概要: Ensemble-in-One: Learning Ensemble within Random Gated Networks for
Enhanced Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2103.14795v1
- Date: Sat, 27 Mar 2021 03:13:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 15:14:25.308603
- Title: Ensemble-in-One: Learning Ensemble within Random Gated Networks for
Enhanced Adversarial Robustness
- Title（参考訳）: Ensemble-in-One: 対向ロバスト性向上のためのランダムゲートネットワーク内の学習アンサンブル
- Authors: Yi Cai, Xuefei Ning, Huazhong Yang, Yu Wang
- Abstract要約: 敵の攻撃は現代のディープラーニングシステムに高いセキュリティリスクをもたらしている。
ランダムゲートネットワーク(RGN)内でアンサンブルを訓練するためのアンサンブル・イン・ワン(EIO)を提案する。
EIOは、従来のアンサンブルトレーニング手法を一貫して上回り、計算オーバーヘッドがさらに少なくなります。
- 参考スコア（独自算出の注目度）: 18.514706498043214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial attacks have rendered high security risks on modern deep learning
systems. Adversarial training can significantly enhance the robustness of
neural network models by suppressing the non-robust features. However, the
models often suffer from significant accuracy loss on clean data. Ensemble
training methods have emerged as promising solutions for defending against
adversarial attacks by diversifying the vulnerabilities among the sub-models,
simultaneously maintaining comparable accuracy as standard training. However,
existing ensemble methods are with poor scalability, owing to the rapid
complexity increase when including more sub-models in the ensemble. Moreover,
in real-world applications, it is difficult to deploy an ensemble with multiple
sub-models, owing to the tight hardware resource budget and latency
requirement. In this work, we propose ensemble-in-one (EIO), a simple but
efficient way to train an ensemble within one random gated network (RGN). EIO
augments the original model by replacing the parameterized layers with
multi-path random gated blocks (RGBs) to construct a RGN. By diversifying the
vulnerability of the numerous paths within the RGN, better robustness can be
achieved. It provides high scalability because the paths within an EIO network
exponentially increase with the network depth. Our experiments demonstrate that
EIO consistently outperforms previous ensemble training methods with even less
computational overhead.
- Abstract（参考訳）: 敵の攻撃は現代のディープラーニングシステムに高いセキュリティリスクをもたらしている。
敵対的トレーニングは、非ロバスト特徴を抑えることで、ニューラルネットワークモデルのロバスト性を大幅に向上させることができる。
しかし、モデルはしばしばクリーンなデータに対してかなりの精度の損失を被る。
アンサンブルトレーニング手法は、サブモデル間の脆弱性を多様化し、標準トレーニングと同等の精度を維持することによって、敵対的攻撃を防御するための有望なソリューションとして浮上している。
しかし、既存のアンサンブル法はスケーラビリティが悪く、アンサンブルにより多くのサブモデルを含める場合、複雑さが急速に増加するためである。
さらに、実世界のアプリケーションでは、ハードウェアリソースの予算とレイテンシ要件が厳しいため、複数のサブモデルでアンサンブルをデプロイすることは困難である。
本研究では、1つのランダムゲートネットワーク(RGN)内でアンサンブルを訓練する簡易かつ効率的な方法であるアンサンブル・イン・ワン(EIO)を提案する。
EIOは、パラメータ化されたレイヤをマルチパスランダムゲートブロック(RGB)に置き換えてRGNを構築することで、オリジナルのモデルを強化する。
rgn内の多数のパスの脆弱性を多様化することで、より堅牢性が達成できる。
EIOネットワーク内のパスがネットワーク深さとともに指数関数的に増加するため、高いスケーラビリティを提供する。
実験の結果,EIOは従来のアンサンブル学習手法よりも計算オーバーヘッドが小さい。
関連論文リスト
- LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Boosting Adversarial Training via Fisher-Rao Norm-based Regularization [9.975998980413301]
本稿では,ロバスト性と精度のトレードオフを軽減するため,LOAT(Logit-Oriented Adversarial Training)と呼ばれる新たな正規化フレームワークを提案する。
実験により,提案した正規化戦略により,有意な対向学習アルゴリズムの性能が向上することを示した。
論文 参考訳（メタデータ） (2024-03-26T09:22:37Z) - Learning Robust Kernel Ensembles with Kernel Average Pooling [3.6540368812166872]
本稿では,階層活性化テンソルのカーネル次元に沿って平均フィルタを適用するニューラルネットワーク構築ブロックであるKernel Average Pooling(KAP)を紹介する。
類似機能を持つカーネルのアンサンブルは、KAPを装備した畳み込みニューラルネットワークにおいて自然に出現し、バックプロパゲーションで訓練されることを示す。
論文 参考訳（メタデータ） (2022-09-30T19:49:14Z) - Adversarial Vulnerability of Randomized Ensembles [12.082239973914326]
ランダム化アンサンブルは、通常のATモデルよりも、知覚不能な逆方向の摂動に対して脆弱であることを示す。
本稿では,適応PGDが実現しなかった場合においても,ランダムアンサンブルを再現できる理論的・効率的な攻撃アルゴリズム(ARC)を提案する。
論文 参考訳（メタデータ） (2022-06-14T10:37:58Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Interpolated Joint Space Adversarial Training for Robust and
Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。
近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。
我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。
JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文 参考訳（メタデータ） (2021-12-12T21:08:14Z) - GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous
Probabilistic Integrity Verification Inside Trusted Execution Environment [0.0]
Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルスの治療発見まで、さまざまなアプリケーションにますます導入されている。
DNNを学習するために必要な計算能力をサポートするために、専用のハードウェアサポートを備えたクラウド環境が重要なインフラストラクチャとして登場した。
これらの課題に対処する様々なアプローチが開発され、信頼できる実行環境(TEE)上に構築されている。
論文 参考訳（メタデータ） (2020-10-17T20:09:05Z) - R-FORCE: Robust Learning for Random Recurrent Neural Networks [6.285241353736006]
RRNNのロバスト性を高めるためのロバストトレーニング手法を提案する。
FORCE学習アプローチは、目標学習の課題にも適用可能であることが示された。
実験の結果,R-FORCEはより広範囲のRRNNに対して,より安定かつ正確な目標学習を促進することが示唆された。
論文 参考訳（メタデータ） (2020-03-25T22:08:03Z) - HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。
そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。
HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
論文 参考訳（メタデータ） (2020-02-24T19:54:53Z) - An Image Enhancing Pattern-based Sparsity for Real-time Inference on
Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。
新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文 参考訳（メタデータ） (2020-01-20T16:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。