論文の概要: When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning?

• arxiv url: http://arxiv.org/abs/2111.01124v1
• Date: Mon, 1 Nov 2021 17:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 13:55:41.001042
• Title: When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning?
• Title（参考訳）: コントラスト学習は予習からファインタニングまで対向的ロバスト性を維持するか?
• Authors: Lijie Fan, Sijia Liu, Pin-Yu Chen, Gaoyuan Zhang, Chuang Gan
• Abstract要約: 本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
• 参考スコア（独自算出の注目度）: 99.4914671654374
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Contrastive learning (CL) can learn generalizable feature representations and achieve the state-of-the-art performance of downstream tasks by finetuning a linear classifier on top of it. However, as adversarial robustness becomes vital in image classification, it remains unclear whether or not CL is able to preserve robustness to downstream tasks. The main challenge is that in the self-supervised pretraining + supervised finetuning paradigm, adversarial robustness is easily forgotten due to a learning task mismatch from pretraining to finetuning. We call such a challenge 'cross-task robustness transferability'. To address the above problem, in this paper we revisit and advance CL principles through the lens of robustness enhancement. We show that (1) the design of contrastive views matters: High-frequency components of images are beneficial to improving model robustness; (2) Augmenting CL with pseudo-supervision stimulus (e.g., resorting to feature clustering) helps preserve robustness without forgetting. Equipped with our new designs, we propose AdvCL, a novel adversarial contrastive pretraining framework. We show that AdvCL is able to enhance cross-task robustness transferability without loss of model accuracy and finetuning efficiency. With a thorough experimental study, we demonstrate that AdvCL outperforms the state-of-the-art self-supervised robust learning methods across multiple datasets (CIFAR-10, CIFAR-100, and STL-10) and finetuning schemes (linear evaluation and full model finetuning).
• Abstract（参考訳）: Contrastive Learning (CL)は、一般化可能な特徴表現を学習し、その上に線形分類器を微調整することで、下流タスクの最先端のパフォーマンスを達成する。 しかし, 画像分類において, 対向ロバスト性は不可欠となるため, CLが下流タスクに対するロバスト性を維持することができるかどうかは不明である。 主な課題は、自己指導型事前学習+教師型微調整パラダイムにおいて、事前訓練から微調整までの学習課題のミスマッチにより、対人的堅牢性が容易に忘れられることである。 このような課題を,“クロスタスクロバスト性転送可能性”と呼んでいる。 上記の問題に対処するため,本論文では,ロバスト性向上のレンズを通してcl原理を再検討し,発展させる。 1) 画像の高周波成分はモデルのロバスト性を向上させるのに有用であり, (2) 擬似超視覚刺激(例:特徴クラスタリング)によるclの強化は、忘れずにロバスト性を維持するのに役立つ。 本稿では,新しい設計を取り入れた新しい対向型コントラスト事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。 本稿では,AdvCLが複数のデータセット(CIFAR-10,CIFAR-100,STL-10)とファインタニングスキーム(線形評価とフルモデルファインタニング)において,最先端の自己教師型学習手法よりも優れていることを示す。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency [15.211462468655329]
  CLATは、パラメータ効率を敵のトレーニングプロセスに導入し、クリーンな精度と敵の堅牢性の両方を改善した。 既存の対数訓練法に応用でき、トレーニング可能なパラメータの数を約95%削減できる。
  論文  参考訳（メタデータ） (2024-08-19T17:58:03Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。