論文の概要: Towards the Memorization Effect of Neural Networks in Adversarial
Training
- arxiv url: http://arxiv.org/abs/2106.04794v1
- Date: Wed, 9 Jun 2021 03:47:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 15:05:31.766209
- Title: Towards the Memorization Effect of Neural Networks in Adversarial
Training
- Title(参考訳): 対向訓練におけるニューラルネットワークの記憶効果について
- Authors: Han Xu, Xiaorui Liu, Wentao Wang, Wenbiao Ding, Zhongqin Wu, Zitao
Liu, Anil Jain, Jiliang Tang
- Abstract要約: 本研究では,有害な「非定型サンプル」の適合を避けるために,対人訓練を容易にするベニグナ・アドバイザリ・トレーニング(BAT)を提案する。
BATは、CIFAR100やTinyImageNetといったベンチマークデータセットにおいて、ベースラインメソッドよりもクリーンな精度とロバストなトレードオフを達成できる。
- 参考スコア(独自算出の注目度): 36.35802928128805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies suggest that ``memorization'' is one important factor for
overparameterized deep neural networks (DNNs) to achieve optimal performance.
Specifically, the perfectly fitted DNNs can memorize the labels of many
atypical samples, generalize their memorization to correctly classify test
atypical samples and enjoy better test performance. While, DNNs which are
optimized via adversarial training algorithms can also achieve perfect training
performance by memorizing the labels of atypical samples, as well as the
adversarially perturbed atypical samples. However, adversarially trained models
always suffer from poor generalization, with both relatively low clean accuracy
and robustness on the test set. In this work, we study the effect of
memorization in adversarial trained DNNs and disclose two important findings:
(a) Memorizing atypical samples is only effective to improve DNN's accuracy on
clean atypical samples, but hardly improve their adversarial robustness and (b)
Memorizing certain atypical samples will even hurt the DNN's performance on
typical samples. Based on these two findings, we propose Benign Adversarial
Training (BAT) which can facilitate adversarial training to avoid fitting
``harmful'' atypical samples and fit as more ``benign'' atypical samples as
possible. In our experiments, we validate the effectiveness of BAT, and show it
can achieve better clean accuracy vs. robustness trade-off than baseline
methods, in benchmark datasets such as CIFAR100 and Tiny~ImageNet.
- Abstract(参考訳): 近年の研究では、‘記憶’は、最適性能を達成するための超パラメータディープニューラルネットワーク(dnn)の重要な要素の一つであることが示唆されている。
具体的には、完全に取り付けられたDNNは、多くの非定型サンプルのラベルを記憶し、その記憶を一般化し、非定型サンプルを正しく分類し、より良いテスト性能を享受することができる。
一方,非典型的サンプルのラベルや非典型的サンプルを記憶することで,非典型的トレーニングアルゴリズムによって最適化されたDNNでも完璧なトレーニング性能が得られる。
しかし、敵対的に訓練されたモデルは常に不十分な一般化に苦しんでおり、比較的クリーンな精度とテストセットの堅牢性は低い。
本研究は,非典型的サンプルの記憶が,非典型的サンプルにおけるDNNの精度向上に有効であるだけでなく,非典型的サンプルの記憶が典型的サンプル上でのDNNのパフォーマンスを損なうことさえない,という2つの重要な知見を明らかにするものである。
これら2つの知見に基づき, 対人訓練を円滑に行うことにより, 「<harmful'」非定型サンプルの適合を回避し, 「`benign'非定型サンプルの適合度を極力高めることができる良性適応訓練(BAT)を提案する。
CIFAR100 や Tiny~ImageNet などのベンチマークデータセットにおいて,BAT の有効性を検証し,ベースライン手法よりもクリーンな精度とロバスト性トレードオフを向上できることを示す。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - How Low Can You Go? Surfacing Prototypical In-Distribution Samples for Unsupervised Anomaly Detection [48.30283806131551]
非常に少ないトレーニングサンプルを持つUADが、トレーニングデータセット全体のトレーニングパフォーマンスにすでに一致している - そして、場合によっては、それを超えることもある、ということが、私たちは示しています。
そこで本研究では,UAD性能をさらに向上させるために,原型標本を確実に同定するための教師なし手法を提案する。
論文 参考訳(メタデータ) (2023-12-06T15:30:47Z) - Test-Time Distribution Normalization for Contrastively Learned
Vision-language Models [39.66329310098645]
CLIPとして最近提案された最も代表的なアプローチの1つは、その有効性のために広く採用されている。
本稿では,ドット製品のダウンストリーム化は最適化目標の0次近似に過ぎず,テスト時間中に情報が失われることを明らかにする。
本研究では, 分散正規化(DN)を提案し, テストサンプルのバッチの平均表現を近似し, InfoNCE損失における負のサンプルと類似するものを表現する。
論文 参考訳(メタデータ) (2023-02-22T01:14:30Z) - Towards Robust Visual Question Answering: Making the Most of Biased
Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。
具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。
我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文 参考訳(メタデータ) (2022-10-10T11:05:21Z) - CADet: Fully Self-Supervised Out-Of-Distribution Detection With
Contrastive Learning [11.897976063005315]
本研究は,2種類のOODサンプルの同時検出における自己教師付きコントラスト学習の利用について検討する。
まず,自己指導型コントラスト学習と,最大平均誤差(MMD)2サンプルテストとを組み合わせた。
この成功に触発されたCADetは,単一試料のOOD検出のための新しい手法である。
論文 参考訳(メタデータ) (2022-10-04T17:02:37Z) - ScatterSample: Diversified Label Sampling for Data Efficient Graph
Neural Network Learning [22.278779277115234]
グラフニューラルネットワーク(GNN)トレーニングが高価であるいくつかのアプリケーションでは、新しいインスタンスのラベル付けが高価である。
データ効率のよいアクティブサンプリングフレームワークであるScatterSampleを開発し、アクティブな学習環境下でGNNを訓練する。
5つのデータセットに対する実験により、ScatterSampleは他のGNNのアクティブラーニングベースラインよりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2022-06-09T04:05:02Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。