論文の概要: When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning?
- arxiv url: http://arxiv.org/abs/2111.01124v1
- Date: Mon, 1 Nov 2021 17:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 13:55:41.001042
- Title: When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning?
- Title(参考訳): コントラスト学習は予習からファインタニングまで対向的ロバスト性を維持するか?
- Authors: Lijie Fan, Sijia Liu, Pin-Yu Chen, Gaoyuan Zhang, Chuang Gan
- Abstract要約: 本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
- 参考スコア(独自算出の注目度): 99.4914671654374
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Contrastive learning (CL) can learn generalizable feature representations and
achieve the state-of-the-art performance of downstream tasks by finetuning a
linear classifier on top of it. However, as adversarial robustness becomes
vital in image classification, it remains unclear whether or not CL is able to
preserve robustness to downstream tasks. The main challenge is that in the
self-supervised pretraining + supervised finetuning paradigm, adversarial
robustness is easily forgotten due to a learning task mismatch from pretraining
to finetuning. We call such a challenge 'cross-task robustness
transferability'. To address the above problem, in this paper we revisit and
advance CL principles through the lens of robustness enhancement. We show that
(1) the design of contrastive views matters: High-frequency components of
images are beneficial to improving model robustness; (2) Augmenting CL with
pseudo-supervision stimulus (e.g., resorting to feature clustering) helps
preserve robustness without forgetting. Equipped with our new designs, we
propose AdvCL, a novel adversarial contrastive pretraining framework. We show
that AdvCL is able to enhance cross-task robustness transferability without
loss of model accuracy and finetuning efficiency. With a thorough experimental
study, we demonstrate that AdvCL outperforms the state-of-the-art
self-supervised robust learning methods across multiple datasets (CIFAR-10,
CIFAR-100, and STL-10) and finetuning schemes (linear evaluation and full model
finetuning).
- Abstract(参考訳): Contrastive Learning (CL)は、一般化可能な特徴表現を学習し、その上に線形分類器を微調整することで、下流タスクの最先端のパフォーマンスを達成する。
しかし, 画像分類において, 対向ロバスト性は不可欠となるため, CLが下流タスクに対するロバスト性を維持することができるかどうかは不明である。
主な課題は、自己指導型事前学習+教師型微調整パラダイムにおいて、事前訓練から微調整までの学習課題のミスマッチにより、対人的堅牢性が容易に忘れられることである。
このような課題を,“クロスタスクロバスト性転送可能性”と呼んでいる。
上記の問題に対処するため,本論文では,ロバスト性向上のレンズを通してcl原理を再検討し,発展させる。
1) 画像の高周波成分はモデルのロバスト性を向上させるのに有用であり, (2) 擬似超視覚刺激(例:特徴クラスタリング)によるclの強化は、忘れずにロバスト性を維持するのに役立つ。
本稿では,新しい設計を取り入れた新しい対向型コントラスト事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
本稿では,AdvCLが複数のデータセット(CIFAR-10,CIFAR-100,STL-10)とファインタニングスキーム(線形評価とフルモデルファインタニング)において,最先端の自己教師型学習手法よりも優れていることを示す。
関連論文リスト
- FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision
Transformers [61.48709409150777]
Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。
既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。
従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。
本稿では,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRA-ATフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-03T14:08:39Z) - Initialization Matters for Adversarial Transfer Learning [65.58440557481316]
トランスファーラーニングにおけるプレトレイン・フィネチングのパラダイムの普及に伴い、下流タスクのロバスト性は重要な問題となっている。
直交線形探索により得られる重みで線形頭部を初期化する対向微調整のためのロバスト線形初期化(RoLI)を提案する。
5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
論文 参考訳(メタデータ) (2023-12-10T00:51:05Z) - The Importance of Robust Features in Mitigating Catastrophic Forgetting [0.7734726150561088]
CLロバストデータセットを導入し、標準とCLロバストデータセットの両方で4つのベースラインモデルをトレーニングする。
その結果,CL頑健なデータセットでトレーニングしたCLモデルは,従来学習したタスクを標準データセットでトレーニングした場合よりも,破滅的な忘れを伴わないことがわかった。
論文 参考訳(メタデータ) (2023-06-29T16:48:15Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - Understanding Zero-Shot Adversarial Robustness for Large-Scale Models [31.295249927085475]
ゼロショット対角ロバスト性に対する大規模モデルの強調問題を特定し,検討する。
本研究では,テキスト埋め込みと対向的視覚特徴を対照学習と整合させるテキスト誘導型対向的学習損失を提案する。
当社のアプローチは,ImageNetと15のゼロショットデータセットに対して,平均31ポイント以上の改善を達成し,CLIPに対するゼロショット対逆ロバスト性を大幅に向上させる。
論文 参考訳(メタデータ) (2022-12-14T04:08:56Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳(メタデータ) (2022-05-02T04:04:23Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳(メタデータ) (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。