論文の概要: Adversarial Self-Supervised Contrastive Learning
- arxiv url: http://arxiv.org/abs/2006.07589v2
- Date: Mon, 26 Oct 2020 14:04:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 20:23:46.537790
- Title: Adversarial Self-Supervised Contrastive Learning
- Title（参考訳）: 対人的自己監督型コントラスト学習
- Authors: Minseon Kim, Jihoon Tack, Sung Ju Hwang
- Abstract要約: 既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 62.17538130778111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing adversarial learning approaches mostly use class labels to generate
adversarial samples that lead to incorrect predictions, which are then used to
augment the training of the model for improved robustness. While some recent
works propose semi-supervised adversarial learning methods that utilize
unlabeled data, they still require class labels. However, do we really need
class labels at all, for adversarially robust training of deep neural networks?
In this paper, we propose a novel adversarial attack for unlabeled data, which
makes the model confuse the instance-level identities of the perturbed data
samples. Further, we present a self-supervised contrastive learning framework
to adversarially train a robust neural network without labeled data, which aims
to maximize the similarity between a random augmentation of a data sample and
its instance-wise adversarial perturbation. We validate our method, Robust
Contrastive Learning (RoCL), on multiple benchmark datasets, on which it
obtains comparable robust accuracy over state-of-the-art supervised adversarial
learning methods, and significantly improved robustness against the black box
and unseen types of attacks. Moreover, with further joint fine-tuning with
supervised adversarial loss, RoCL obtains even higher robust accuracy over
using self-supervised learning alone. Notably, RoCL also demonstrate impressive
results in robust transfer learning.
- Abstract（参考訳）: 既存のadversarial learningアプローチでは、主にクラスラベルを使用して、誤った予測につながる敵のサンプルを生成し、モデルのトレーニングを強化して堅牢性を改善するために使用される。
ラベルなしデータを利用する半教師付き逆学習法を提案する最近の研究もあるが、クラスラベルはいまだに必要である。
しかし、ディープニューラルネットワークの対向的に堅牢なトレーニングには、クラスラベルが本当に必要か?
本稿では,未ラベルデータに対する新たな逆攻撃法を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルの同一性を混乱させる。
さらに,ラベル付きデータを用いずに頑健なニューラルネットワークを対向的に学習するための自己教師付きコントラスト学習フレームワークを提案する。
本手法,RoCL(Robost Contrastive Learning)を複数のベンチマークデータセット上で検証し,最先端の教師付き対人学習法に対して同等に堅牢な精度が得られるとともに,ブラックボックスに対する堅牢性や,目に見えないタイプの攻撃に対して大幅に向上した。
さらに, 教師付き対向的損失を伴い, 協調的な微調整を行うことで, 自己教師付き学習のみを用いた場合よりも, より堅牢な精度が得られる。
特にroclは、堅牢な転送学習の結果も示している。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - Effective and Robust Adversarial Training against Data and Label Corruptions [35.53386268796071]
データ摂動とラベルノイズによる破損は、信頼できない情報源からのデータセットに多い。
我々は,2種類の汚職を同時に扱うための,効果的かつロバストな適応訓練フレームワークを開発した。
論文 参考訳（メタデータ） (2024-05-07T10:53:20Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Advancing Adversarial Robustness Through Adversarial Logit Update [10.041289551532804]
敵の訓練と敵の浄化は最も広く認知されている防衛戦略の一つである。
そこで本稿では,新たな原則であるALU(Adversarial Logit Update)を提案する。
本手法は,幅広い敵攻撃に対する最先端手法と比較して,優れた性能を実現する。
論文 参考訳（メタデータ） (2023-08-29T07:13:31Z) - PointACL:Adversarial Contrastive Learning for Robust Point Clouds
Representation under Adversarial Attack [73.3371797787823]
逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。
本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。
提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
論文 参考訳（メタデータ） (2022-09-14T22:58:31Z) - Robustness through Cognitive Dissociation Mitigation in Contrastive
Adversarial Training [2.538209532048867]
本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。
本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。
我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
論文 参考訳（メタデータ） (2022-03-16T21:41:27Z) - Modelling Adversarial Noise for Adversarial Defense [96.56200586800219]
敵の防御は、通常、敵の音を除去したり、敵の頑強な目標モデルを訓練するために、敵の例を活用することに焦点を当てる。
逆データと自然データの関係は、逆データからクリーンデータを推測し、最終的な正しい予測を得るのに役立ちます。
本研究では, ラベル空間の遷移関係を学習するために, 逆方向の雑音をモデル化し, 逆方向の精度を向上させることを目的とした。
論文 参考訳（メタデータ） (2021-09-21T01:13:26Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳（メタデータ） (2020-07-29T08:38:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。