論文の概要: ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations
- arxiv url: http://arxiv.org/abs/2406.05796v1
- Date: Sun, 9 Jun 2024 14:20:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 17:57:33.337621
- Title: ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations
- Title（参考訳）: ProFeAT:ロバスト表現の自己教師付き学習のための特徴反転学習計画
- Authors: Sravanti Addepalli, Priyam Dey, R. Venkatesh Babu,
- Abstract要約: 教師付きAdversarial Training (AT) におけるラベル付きデータの必要性は,ATによる自己監督学習(SSL)技術の利用を促している。
既存のSSLメソッドの対向トレーニングへの直接的な適用は、SSLとATの組み合わせによるトレーニングの複雑さの増大により、サブ最適になっている。
本研究では,教師と生徒の弱さと強みを兼ね備えた,特徴とプロジェクタに対する適切な攻撃と防御の損失を提案する。
- 参考スコア（独自算出の注目度）: 35.68752612346952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The need for abundant labelled data in supervised Adversarial Training (AT) has prompted the use of Self-Supervised Learning (SSL) techniques with AT. However, the direct application of existing SSL methods to adversarial training has been sub-optimal due to the increased training complexity of combining SSL with AT. A recent approach, DeACL, mitigates this by utilizing supervision from a standard SSL teacher in a distillation setting, to mimic supervised AT. However, we find that there is still a large performance gap when compared to supervised adversarial training, specifically on larger models. In this work, investigate the key reason for this gap and propose Projected Feature Adversarial Training (ProFeAT) to bridge the same. We show that the sub-optimal distillation performance is a result of mismatch in training objectives of the teacher and student, and propose to use a projection head at the student, that allows it to leverage weak supervision from the teacher while also being able to learn adversarially robust representations that are distinct from the teacher. We further propose appropriate attack and defense losses at the feature and projector, alongside a combination of weak and strong augmentations for the teacher and student respectively, to improve the training data diversity without increasing the training complexity. Through extensive experiments on several benchmark datasets and models, we demonstrate significant improvements in both clean and robust accuracy when compared to existing SSL-AT methods, setting a new state-of-the-art. We further report on-par/ improved performance when compared to TRADES, a popular supervised-AT method.
- Abstract（参考訳）: 教師付きAdversarial Training (AT) におけるラベル付きデータの必要性は,ATによる自己監督学習(SSL)技術の利用を促している。
しかし、既存のSSLメソッドの対向トレーニングへの直接適用は、SSLとATを組み合わせたトレーニングの複雑さが増大しているため、準最適である。
最近のアプローチであるDeACLは、標準的なSSL教師の蒸留環境での監督を利用して、監督されたATを模倣することでこれを緩和する。
しかし,特に大規模モデルでは,教師付き対人訓練に比べ,まだ大きな性能差があることが判明した。
本稿では,このギャップの主な原因について検討し,ProFeAT(Projected Feature Adversarial Training)を提案する。
本研究は,教師と生徒の学習目標におけるミスマッチの結果,教師と生徒の指導目標に対する準最適蒸留性能が得られたことを示し,教師と異なる反対に頑健な表現を学習しながら,教師の弱い監督を活用できるプロジェクションヘッドを学生に提案する。
さらに,教師と生徒の弱体化と強体化を兼ね備えた特徴とプロジェクタに対する適切な攻撃と防御の損失を提案し,トレーニングの複雑さを増大させることなく,トレーニングデータの多様性を向上させる。
いくつかのベンチマークデータセットとモデルに関する広範な実験を通じて、既存のSSL-ATメソッドと比較してクリーンでロバストな精度の両方が大幅に改善され、新たな最先端技術が確立された。
さらに,一般的な教師付きAT法であるTRADESと比較して,性能が向上したことを報告した。
関連論文リスト
- On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning [5.123232962822044]
非対称非競合学習(ANCL)は、自己指導的表現学習において、対照的な学習よりも優れていることが多い。
教師付き表現学習のためのANCL(SupSiamとSupBYOL)について検討し,より優れた表現を実現するためにANCLのラベルを活用する。
分析の結果,ANCLの監督はクラス内ばらつきを低減し,最高の性能を達成するためには,監督の貢献を調整すべきであることが判明した。
論文 参考訳（メタデータ） (2024-06-16T06:43:15Z) - BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳（メタデータ） (2024-02-04T10:52:43Z) - Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation [12.39860047886679]
敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。
本稿では,B-MTARD(Ba balanced Multi-Teacher Adversarial Robustness Distillation)を導入する。
B-MTARDは、様々な敵攻撃に対して最先端の手法より優れている。
論文 参考訳（メタデータ） (2023-06-28T12:47:01Z) - Effective Targeted Attacks for Adversarial Self-Supervised Learning [58.14233572578723]
ラベル情報を持たないモデルにおいて堅牢性を達成する手段として、教師なしの敵訓練(AT)が強調されている。
本稿では,敵のSSLフレームワークを効果的に生成するために,敵の攻撃を標的とした新たな正のマイニングを提案する。
提案手法は,非コントラスト型SSLフレームワークに適用した場合のロバストネスの大幅な向上と,コントラスト型SSLフレームワークによるロバストネスの向上を示す。
論文 参考訳（メタデータ） (2022-10-19T11:43:39Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-22T06:30:44Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文 参考訳（メタデータ） (2021-11-01T17:59:43Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。
本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。
我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
論文 参考訳（メタデータ） (2020-02-20T08:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。