論文の概要: Exploring Memorization in Adversarial Training

• arxiv url: http://arxiv.org/abs/2106.01606v1
• Date: Thu, 3 Jun 2021 05:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:23:57.779850
• Title: Exploring Memorization in Adversarial Training
• Title（参考訳）: 対人訓練における記憶の探索
• Authors: Yinpeng Dong, Ke Xu, Xiao Yang, Tianyu Pang, Zhijie Deng, Hang Su, Jun Zhu
• Abstract要約: 本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。 本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 58.38336773082818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well known that deep learning models have a propensity for fitting the entire training set even with random labels, which requires memorization of every training sample. In this paper, we investigate the memorization effect in adversarial training (AT) for promoting a deeper understanding of capacity, convergence, generalization, and especially robust overfitting of adversarially trained classifiers. We first demonstrate that deep networks have sufficient capacity to memorize adversarial examples of training data with completely random labels, but not all AT algorithms can converge under the extreme circumstance. Our study of AT with random labels motivates further analyses on the convergence and generalization of AT. We find that some AT methods suffer from a gradient instability issue, and the recently suggested complexity measures cannot explain robust generalization by considering models trained on random labels. Furthermore, we identify a significant drawback of memorization in AT that it could result in robust overfitting. We then propose a new mitigation algorithm motivated by detailed memorization analyses. Extensive experiments on various datasets validate the effectiveness of the proposed method.
• Abstract（参考訳）: 深層学習モデルは、ランダムなラベルでもトレーニングセット全体の適合性を保ち、トレーニングサンプルを記憶する必要があることはよく知られている。 本稿では, 対人訓練(AT)における暗記効果について検討し, 対人訓練の能力, 収束, 一般化, 特に頑健なオーバーフィッティングの促進について検討する。 まず、深層ネットワークは、完全にランダムなラベルを持つトレーニングデータの逆例を記憶するのに十分な能力を持っていることを実証するが、全てのATアルゴリズムが極端な状況下で収束できるわけではない。 ランダムラベルを持つATの研究は、ATの収束と一般化に関するさらなる分析を動機付けている。 また,最近提案されている複雑性尺度では,ランダムラベル上で訓練されたモデルを考えることで,ロバスト一般化を説明することはできない。 さらに,ATにおける記憶の重大な欠点として,強靭なオーバーフィッティングが生じる可能性がある。 次に,詳細な記憶解析に動機づけられた新しい緩和アルゴリズムを提案する。 各種データセットに対する大規模な実験により,提案手法の有効性が検証された。

関連論文リスト

• Predicting and analyzing memorization within fine-tuned Large Language Models [0.0]
  大規模言語モデルはトレーニングデータのかなりの割合を記憶しており、推論時に開示されると深刻な脅威となる。 そこで本稿では, 記憶されたサンプルを事前検出するための, スライスされた相互情報に基づく新しい手法を提案する。 我々は,暗記前に,これらの脆弱なサンプルの系統的な検査と保護を行うための方法を編み出した,強い経験的結果を得た。
  論文  参考訳（メタデータ） (2024-09-27T15:53:55Z)
• Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
  UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。 このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。 我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
  論文  参考訳（メタデータ） (2024-01-02T03:37:11Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Unintended Memorization in Large ASR Models, and How to Mitigate It [16.047859326721046]
  大規模非回帰型自動音声認識(ASR)モデルにおける記憶の監査は困難である。 計算オーバーヘッドを余分に必要とせずに,大規模ASRモデルの記憶量を測定するための簡易な監査手法を設計する。 大規模分散トレーニングでは、各計算コアの平均勾配をクリップすることで、中立的なモデル品質と計算コストが維持されることを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:45:49Z)
• Contrastive Deep Encoding Enables Uncertainty-aware Machine-learning-assisted Histopathology [6.548275341067594]
  テラバイトのトレーニングデータを意識的に深層ネットワークにプリトレーニングして情報表現を符号化することができる。 提案手法は,ランダムに選択されたアノテーションが1～10%しかないパッチレベルの分類において,最先端のSOTA(State-of-the-art)に到達可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T17:37:19Z)
• The Curious Case of Benign Memorization [19.74244993871716]
  データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。 深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
  論文  参考訳（メタデータ） (2022-10-25T13:41:31Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。