論文の概要: On the Role of Contrastive Representation Learning in Adversarial
Robustness: An Empirical Study
- arxiv url: http://arxiv.org/abs/2302.02502v1
- Date: Sun, 5 Feb 2023 22:43:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 17:59:01.493516
- Title: On the Role of Contrastive Representation Learning in Adversarial
Robustness: An Empirical Study
- Title（参考訳）: 対向的ロバスト性におけるコントラスト表現学習の役割--実証的研究
- Authors: Fatemeh Ghofrani, Mehdi Yaghouti, Pooyan Jamshidi
- Abstract要約: 教師付きコントラスト学習は、この問題を排除するためのコントラスト学習の拡張として現れている。
本研究では,異なる対人訓練シナリオ下でのコントラスト学習と教師付きコントラスト学習の堅牢性について検討する。
- 参考スコア（独自算出の注目度）: 2.3333090554192615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised contrastive learning has solved one of the significant
obstacles in deep learning by alleviating the annotation cost. This advantage
comes with the price of false negative-pair selection without any label
information. Supervised contrastive learning has emerged as an extension of
contrastive learning to eliminate this issue. However, aside from accuracy,
there is a lack of understanding about the impacts of adversarial training on
the representations learned by these learning schemes. In this work, we utilize
supervised learning as a baseline to comprehensively study the robustness of
contrastive and supervised contrastive learning under different adversarial
training scenarios. Then, we begin by looking at how adversarial training
affects the learned representations in hidden layers, discovering more
redundant representations between layers of the model. Our results on CIFAR-10
and CIFAR-100 image classification benchmarks demonstrate that this redundancy
is highly reduced by adversarial fine-tuning applied to the contrastive
learning scheme, leading to more robust representations. However, adversarial
fine-tuning is not very effective for supervised contrastive learning and
supervised learning schemes. Our code is released at
https://github.com/softsys4ai/CL-Robustness.
- Abstract（参考訳）: 自己指導型コントラスト学習は、アノテーションコストを軽減し、ディープラーニングにおける重要な障害の1つを解決した。
この利点は、ラベル情報のない偽のネガティブペア選択の価格にある。
教師付きコントラスト学習は、この問題を取り除くためのコントラスト学習の拡張として登場した。
しかし、正確性以外には、これらの学習スキームによって学習された表現に対する敵の訓練の影響についての理解が欠如している。
本研究では,教師付き学習をベースラインとして活用し,異なる学習シナリオ下でのコントラスト学習と教師付きコントラスト学習の堅牢性を総合的に研究する。
次に、まず、モデル層間のより冗長な表現を発見することによって、学習した層内の表現に敵対的なトレーニングがどう影響するかを考察する。
CIFAR-10 と CIFAR-100 画像分類ベンチマークの結果、この冗長性は対照的な学習方式に適用することで著しく低減され、より堅牢な表現をもたらすことが示されている。
しかし,教師付きコントラスト学習や教師付き学習手法では,逆向きの微調整があまり有効ではない。
私たちのコードはhttps://github.com/softsys4ai/CL-Robustnessで公開されています。
関連論文リスト
- Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。
本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文 参考訳（メタデータ） (2024-10-11T03:59:49Z) - Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。
それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。
本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-21T18:28:43Z) - Can Self-Supervised Representation Learning Methods Withstand
Distribution Shifts and Corruptions? [5.706184197639971]
コンピュータビジョンにおける自己教師付き学習は、データ内の固有の構造と関係を利用して意味のある表現を学ぶことを目的としている。
本研究では,自己指導型学習手法の学習表現のロバスト性について検討し,分布シフトと画像劣化に着目した。
論文 参考訳（メタデータ） (2023-07-31T13:07:56Z) - Understanding Robust Learning through the Lens of Representation
Similarities [37.66877172364004]
ディープニューラルネットワーク(DNN)の望ましい性質として、敵の例に対するロバストさが出現した
本稿では,頑健な学習によって学習される表現の性質が,標準的非破壊的学習から得られた表現とどのように異なるかを理解することを目的とする。
論文 参考訳（メタデータ） (2022-06-20T16:06:20Z) - Adversarially robust segmentation models learn perceptually-aligned
gradients [0.0]
逆学習されたセマンティックセグメンテーションネットワークを用いて画像のインペイントと生成を行うことができることを示す。
知覚的に整合した勾配は、ニューラルネットワークの学習された表現をよりよく理解し、ニューラルネットワークをより解釈しやすいものにする助けとなる、と我々は主張する。
論文 参考訳（メタデータ） (2022-04-03T16:04:52Z) - Revisiting Contrastive Learning through the Lens of Neighborhood
Component Analysis: an Integrated Framework [70.84906094606072]
下流タスクにおいて高い精度とロバスト性を同時に達成できるような、統合されたコントラスト損失を設計するための新しい手法を示す。
統合フレームワークでは,標準精度が最大6%向上し,対角精度が17%向上した。
論文 参考訳（メタデータ） (2021-12-08T18:54:11Z) - Optimism in the Face of Adversity: Understanding and Improving Deep
Learning through Adversarial Robustness [63.627760598441796]
深層学習における対角的強靭性の分野を詳細に検討する。
直感的な対向例と深層ニューラルネットワークの幾何学的関係を強調した。
セキュリティを超えた敵の堅牢性の主な応用について概説する。
論文 参考訳（メタデータ） (2020-10-19T16:03:46Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳（メタデータ） (2020-07-29T08:38:10Z) - Rethinking Clustering for Robustness [56.14672993686335]
ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。
textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
論文 参考訳（メタデータ） (2020-06-13T16:55:51Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-04-01T09:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。