論文の概要: AugRmixAT: A Data Processing and Training Method for Improving Multiple
Robustness and Generalization Performance
- arxiv url: http://arxiv.org/abs/2207.10290v1
- Date: Thu, 21 Jul 2022 04:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 12:55:20.903690
- Title: AugRmixAT: A Data Processing and Training Method for Improving Multiple
Robustness and Generalization Performance
- Title（参考訳）: augrmixat: 多重ロバスト性と一般化性能を向上させるデータ処理およびトレーニング方法
- Authors: Xiaoliang Liu, Furao Shen, Jian Zhao, Changhai Nie
- Abstract要約: ディープニューラルネットワークモデルの具体的な堅牢性を改善するために、これまでの多くの研究が提案されている。
本稿では,ニューラルネットワークモデルの一般化能力とマルチロバスト性を同時に向上する,AugRmixATと呼ばれる新しいデータ処理とトレーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 10.245536402327096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are powerful, but they also have shortcomings such as
their sensitivity to adversarial examples, noise, blur, occlusion, etc.
Moreover, ensuring the reliability and robustness of deep neural network models
is crucial for their application in safety-critical areas. Much previous work
has been proposed to improve specific robustness. However, we find that the
specific robustness is often improved at the sacrifice of the additional
robustness or generalization ability of the neural network model. In
particular, adversarial training methods significantly hurt the generalization
performance on unperturbed data when improving adversarial robustness. In this
paper, we propose a new data processing and training method, called AugRmixAT,
which can simultaneously improve the generalization ability and multiple
robustness of neural network models. Finally, we validate the effectiveness of
AugRmixAT on the CIFAR-10/100 and Tiny-ImageNet datasets. The experiments
demonstrate that AugRmixAT can improve the model's generalization performance
while enhancing the white-box robustness, black-box robustness, common
corruption robustness, and partial occlusion robustness.
- Abstract（参考訳）: ディープニューラルネットワークは強力だが、敵の例に対する感度、ノイズ、ぼかし、閉塞などの欠点もある。
さらに、ディープニューラルネットワークモデルの信頼性と堅牢性を保証することが、安全クリティカルな分野への応用に不可欠である。
具体的な堅牢性を改善するために、これまでの多くの作業が提案されている。
しかし、ニューラルネットワークモデルのさらなる堅牢性や一般化能力を犠牲にして、特定のロバスト性が改善されることがしばしばある。
特に、敵の強靭性を改善する際に、非摂動データに対する一般化性能を著しく損なう。
本稿では,ニューラルネットワークモデルの一般化能力と多重ロバスト性を同時に向上させる,augrmixatと呼ばれる新しいデータ処理・トレーニング手法を提案する。
最後に,CIFAR-10/100およびTiny-ImageNetデータセットに対するAugRmixATの有効性を検証する。
実験により、AugRmixATは、ホワイトボックスのロバスト性、ブラックボックスのロバスト性、共通の破損ロバスト性、部分閉塞ロバスト性を高めながら、モデルの一般化性能を向上させることができることが示された。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。
本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。
本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
論文 参考訳（メタデータ） (2024-06-28T03:10:36Z) - The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。
FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。
実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
論文 参考訳（メタデータ） (2024-02-18T23:14:40Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - NoisyMix: Boosting Robustness by Combining Data Augmentations, Stability
Training, and Noise Injections [46.745755900939216]
モデルロバスト性とドメイン内精度の両方を改善するために,データ拡張と安定性トレーニングとノイズ注入を組み合わせたトレーニングスキームであるNoisyMixを導入する。
我々は、ImageNet-C、ImageNet-R、ImageNet-Pなど、さまざまなベンチマークデータセットに対して、NoisyMixの利点を実証する。
論文 参考訳（メタデータ） (2022-02-02T19:53:35Z) - Improving Corruption and Adversarial Robustness by Enhancing Weak
Subnets [91.9346332103637]
本研究では,頑健性を向上させるために,トレーニング中の弱さを明確に識別し,強化する新しいロバストトレーニング手法を提案する。
具体的には、特に弱いものを見つけるための探索アルゴリズムを開発し、全ネットワークからの知識蒸留を通じてそれらを明示的に強化することを提案する。
EWSは、破損した画像に対するロバスト性を大幅に改善し、クリーンなデータの正確性も向上することを示す。
論文 参考訳（メタデータ） (2022-01-30T09:36:19Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。