論文の概要: Robust Pre-Training by Adversarial Contrastive Learning
- arxiv url: http://arxiv.org/abs/2010.13337v1
- Date: Mon, 26 Oct 2020 04:44:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 19:16:56.906853
- Title: Robust Pre-Training by Adversarial Contrastive Learning
- Title（参考訳）: 敵対的コントラスト学習によるロバスト事前学習
- Authors: Ziyu Jiang, Tianlong Chen, Ting Chen, Zhangyang Wang
- Abstract要約: 近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
- 参考スコア（独自算出の注目度）: 120.33706897927391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown that, when integrated with adversarial training,
self-supervised pre-training can lead to state-of-the-art robustness In this
work, we improve robustness-aware self-supervised pre-training by learning
representations that are consistent under both data augmentations and
adversarial perturbations. Our approach leverages a recent contrastive learning
framework, which learns representations by maximizing feature consistency under
differently augmented views. This fits particularly well with the goal of
adversarial robustness, as one cause of adversarial fragility is the lack of
feature invariance, i.e., small input perturbations can result in undesirable
large changes in features or even predicted labels. We explore various options
to formulate the contrastive task, and demonstrate that by injecting
adversarial perturbations, contrastive pre-training can lead to models that are
both label-efficient and robust. We empirically evaluate the proposed
Adversarial Contrastive Learning (ACL) and show it can consistently outperform
existing methods. For example on the CIFAR-10 dataset, ACL outperforms the
previous state-of-the-art unsupervised robust pre-training approach by 2.99% on
robust accuracy and 2.14% on standard accuracy. We further demonstrate that ACL
pre-training can improve semi-supervised adversarial training, even when only a
few labeled examples are available. Our codes and pre-trained models have been
released at: https://github.com/VITA-Group/Adversarial-Contrastive-Learning.
- Abstract（参考訳）: 近年の研究では, 自己教師付き事前学習は, 敵対的訓練と統合することで, 最先端の堅牢性に繋がる可能性があり, データの強化と敵意の摂動の両方で一貫した表現を学習することで, 堅牢性を考慮した自己教師付き事前学習を改善する。
我々のアプローチは、異なる拡張ビューの下で特徴の一貫性を最大化することで表現を学習する最近のコントラスト学習フレームワークを活用する。
敵対的不安定性の1つの原因は特徴不変性の欠如である、すなわち小さな入力摂動は特徴や予測されたラベルに望ましくない大きな変化をもたらす可能性があるからである。
コントラストタスクを定式化する様々な選択肢を検討し、逆摂動を注入することで、コントラストプレトレーニングがラベル効率と堅牢性の両方のモデルにつながることを実証する。
本稿では,提案したACL(Adversarial Contrastive Learning)を実証的に評価し,既存の手法を一貫して上回ることを示す。
例えば、CIFAR-10データセットでは、ACLは以前の最先端の教師なしの頑健な事前訓練アプローチを2.99%、標準精度2.14%で上回っている。
さらに, acl前訓練は, ラベル付き例がわずかでも, 半教師付き逆訓練を改善できることを実証した。
私たちのコードと事前訓練されたモデルは、https://github.com/VITA-Group/Adversarial-Contrastive-Learningでリリースされました。
関連論文リスト
- Class Incremental Learning for Adversarial Robustness [17.06592851567578]
アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。
直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。
本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
論文 参考訳（メタデータ） (2023-12-06T04:38:02Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - PointACL:Adversarial Contrastive Learning for Robust Point Clouds
Representation under Adversarial Attack [73.3371797787823]
逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。
本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。
提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
論文 参考訳（メタデータ） (2022-09-14T22:58:31Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Robustness through Cognitive Dissociation Mitigation in Contrastive
Adversarial Training [2.538209532048867]
本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。
本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。
我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
論文 参考訳（メタデータ） (2022-03-16T21:41:27Z) - When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文 参考訳（メタデータ） (2021-11-01T17:59:43Z) - Adversarial Momentum-Contrastive Pre-Training [20.336258934272102]
adversarial self-supervised pre-trainingは、データ拡張とadversarial perturbationの両方の下で不変表現を抽出するのに役立つ。
本稿では,新しい対向運動量比較(AMOC)事前学習手法を提案する。
既存の自己監督型プリトレーニングアプローチと比較して、AMOCはより小さなバッチサイズとより少ないトレーニングエポックを使用できますが、より堅牢な機能を学びます。
論文 参考訳（メタデータ） (2020-12-24T07:49:10Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。