論文の概要: Adversarial Momentum-Contrastive Pre-Training

• arxiv url: http://arxiv.org/abs/2012.13154v2
• Date: Sun, 10 Jan 2021 10:18:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:15:07.003293
• Title: Adversarial Momentum-Contrastive Pre-Training
• Title（参考訳）: 対人モーメントコントラスト前訓練
• Authors: Cong Xu, Min Yang
• Abstract要約: adversarial self-supervised pre-trainingは、データ拡張とadversarial perturbationの両方の下で不変表現を抽出するのに役立つ。 本稿では,新しい対向運動量比較(AMOC)事前学習手法を提案する。 既存の自己監督型プリトレーニングアプローチと比較して、AMOCはより小さなバッチサイズとより少ないトレーニングエポックを使用できますが、より堅牢な機能を学びます。
• 参考スコア（独自算出の注目度）: 20.336258934272102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are vulnerable to semantic invariant corruptions and imperceptible artificial perturbations. Although data augmentation can improve the robustness against the former, it offers no guarantees against the latter. Adversarial training, on the other hand, is quite the opposite. Recent studies have shown that adversarial self-supervised pre-training is helpful to extract the invariant representations under both data augmentations and adversarial perturbations. Based on the MoCo's idea, this paper proposes a novel adversarial momentum-contrastive (AMOC) pre-training approach, which designs two dynamic memory banks to maintain the historical clean and adversarial representations respectively, so as to exploit the discriminative representations that are consistent in a long period. Compared with the existing self-supervised pre-training approaches, AMOC can use a smaller batch size and fewer training epochs but learn more robust features. Empirical results show that the developed approach further improves the current state-of-the-art adversarial robustness. Our code is available at \url{https://github.com/MTandHJ/amoc}.
• Abstract（参考訳）: 深層ニューラルネットワークは、意味的不変な汚職や知覚不能な人工摂動に弱い。 データ拡張は前者に対する堅牢性を改善することができるが、後者に対する保証はない。 一方、敵対的な訓練は正反対だ。 近年、adversarial self-supervised pre-trainingは、データ拡張とadversarial perturbationの両方の下で不変表現を抽出するのに役立つことが示されている。 本論文は,mocoの考え方に基づき,2つの動的メモリバンクを設計,それぞれに歴史的なクリーン表現と逆表現を維持させ,長期に一貫性のある識別表現を活用すべく,新たなadversarial momentum-contrastive (amoc) pre-training approachを提案する。 既存の自己教師型事前トレーニングアプローチと比較して、AMOCはより小さなバッチサイズと少ないトレーニングエポックを使用することができるが、より堅牢な機能を学ぶことができる。 実験の結果,本手法は最先端の対向ロバスト性をさらに向上させることがわかった。 私たちのコードは \url{https://github.com/MTandHJ/amoc} で利用可能です。

関連論文リスト

• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Semantics-Preserving Adversarial Training [12.242659601882147]
  逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。 本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。 実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
  論文  参考訳（メタデータ） (2020-09-23T07:42:14Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。