論文の概要: On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2207.10862v1
• Date: Fri, 22 Jul 2022 03:49:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 13:03:15.338873
• Title: On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning
• Title（参考訳）: コントラシブ・セルフ・スーパーバイザード・ラーニングの高次適応性について
• Authors: Rohit Gupta, Naveed Akhtar, Ajmal Mian and Mubarak Shah
• Abstract要約: コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
• 参考スコア（独自算出の注目度）: 104.00264962878956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive self-supervised learning (CSL) has managed to match or surpass the performance of supervised learning in image and video classification. However, it is still largely unknown if the nature of the representation induced by the two learning paradigms is similar. We investigate this under the lens of adversarial robustness. Our analytical treatment of the problem reveals intrinsic higher sensitivity of CSL over supervised learning. It identifies the uniform distribution of data representation over a unit hypersphere in the CSL representation space as the key contributor to this phenomenon. We establish that this increases model sensitivity to input perturbations in the presence of false negatives in the training data. Our finding is supported by extensive experiments for image and video classification using adversarial perturbations and other input corruptions. Building on the insights, we devise strategies that are simple, yet effective in improving model robustness with CSL training. We demonstrate up to 68% reduction in the performance gap between adversarially attacked CSL and its supervised counterpart. Finally, we contribute to robust CSL paradigm by incorporating our findings in adversarial self-supervised learning. We demonstrate an average gain of about 5% over two different state-of-the-art methods in this domain.
• Abstract（参考訳）: コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 しかし、2つの学習パラダイムによって引き起こされる表現の性質が似ているかどうかは、いまだによく分かっていない。 敵対的ロバストネスのレンズで調査する。 本研究は,教師付き学習よりもcslの感度が高いことを明らかにする。 CSL表現空間における単位超球面上のデータ表現の均一分布を、この現象の鍵となる要因として特定する。 トレーニングデータに偽陰性が存在する場合,入力摂動に対するモデル感度が向上することが確認できた。 本研究は, 対向的摂動と他の入力汚職を用いた画像分類と映像分類の広範な実験によって裏付けられる。 洞察に基づいて、CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。 対向攻撃型CSLと教師付きCSLとのパフォーマンスギャップを最大68%減少させることを示した。 最後に, 対戦型自己指導学習の成果を取り入れ, 堅牢なCSLパラダイムに寄与する。 この領域における2つの異なる最先端手法に対して平均5%の利得を示す。

関連論文リスト

• Making Self-supervised Learning Robust to Spurious Correlation via Learning-speed Aware Sampling [26.444935219428036]
  自己教師付き学習(SSL)は、ラベルのないデータからリッチな表現を学ぶための強力なテクニックとして登場した。 現実の環境では、いくつかの属性(例えば、人種、性別、年齢)と下流タスクのラベルの間に急激な相関関係がしばしば存在する。 学習速度に逆相関する確率でトレーニングデータをサンプリングする学習速度対応SSL(LA-SSL)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-27T22:52:45Z)
• An Investigation of Representation and Allocation Harms in Contrastive Learning [55.42336321517228]
  比較学習 (CL) は, 少数集団と少数集団の表現を崩壊させる傾向にあることを示す。 本稿では,この現象を表現障害と呼び,対応するCL手法を用いて画像とテキストのデータセットに示す。 対照的な学習環境において,表現の崩壊につながるニューラルブロックモデルを用いて表現障害の理論的説明を行う。
  論文  参考訳（メタデータ） (2023-10-02T19:25:37Z)
• InfoNCE Loss Provably Learns Cluster-Preserving Representations [54.28112623495274]
  InfoNCEが有限個の負のサンプルで学習した表現は、データのクラスタに対して一致していることを示す。 我々の主な成果は、InfoNCEが有限個の負のサンプルで学んだ表現もまた、データのクラスタと一致していることを示すことである。
  論文  参考訳（メタデータ） (2023-02-15T19:45:35Z)
• Self-Supervised Visual Representation Learning via Residual Momentum [15.515169550346517]
  自己教師付き学習(SSL)アプローチは、ラベルのないデータから表現を学ぶ上で有望な能力を示している。 モーメントベースのSSLフレームワークは、オンラインエンコーダ(学生)とモーメントエンコーダ(教師)の間の大きなギャップに悩まされる この論文は、この見えないギャップを既存のSSLフレームワークで見過ごされているボトルネックとして調査し、特定した最初のものである。 本研究では,このギャップを減らし,教師に近い表現をできる限り学習するよう学生に促す「残留運動量」を提案する。
  論文  参考訳（メタデータ） (2022-11-17T19:54:02Z)
• Siamese Prototypical Contrastive Learning [24.794022951873156]
  コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
  論文  参考訳（メタデータ） (2022-08-18T13:25:30Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• How Robust are Discriminatively Trained Zero-Shot Learning Models? [9.62543698736491]
  画像劣化に対する識別的ZSLのロバスト性に関する新しい解析法を提案する。 SUN-C, CUB-C, AWA2-Cの最初のZSL破壊堅牢性データセットをリリースする。
  論文  参考訳（メタデータ） (2022-01-26T14:41:10Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。