論文の概要: Adversarial Contrastive Learning via Asymmetric InfoNCE

• arxiv url: http://arxiv.org/abs/2207.08374v1
• Date: Mon, 18 Jul 2022 04:14:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 14:12:49.552955
• Title: Adversarial Contrastive Learning via Asymmetric InfoNCE
• Title（参考訳）: 非対称情報を用いた逆コントラスト学習
• Authors: Qiying Yu, Jieming Lou, Xianyuan Zhan, Qizhang Li, Wangmeng Zuo, Yang Liu, Jingjing Liu
• Abstract要約: 非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
• 参考スコア（独自算出の注目度）: 64.42740292752069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning (CL) has recently been applied to adversarial learning tasks. Such practice considers adversarial samples as additional positive views of an instance, and by maximizing their agreements with each other, yields better adversarial robustness. However, this mechanism can be potentially flawed, since adversarial perturbations may cause instance-level identity confusion, which can impede CL performance by pulling together different instances with separate identities. To address this issue, we propose to treat adversarial samples unequally when contrasted, with an asymmetric InfoNCE objective ($A-InfoNCE$) that allows discriminating considerations of adversarial samples. Specifically, adversaries are viewed as inferior positives that induce weaker learning signals, or as hard negatives exhibiting higher contrast to other negative samples. In the asymmetric fashion, the adverse impacts of conflicting objectives between CL and adversarial learning can be effectively mitigated. Experiments show that our approach consistently outperforms existing Adversarial CL methods across different finetuning schemes without additional computational cost. The proposed A-InfoNCE is also a generic form that can be readily extended to other CL methods. Code is available at https://github.com/yqy2001/A-InfoNCE.
• Abstract（参考訳）: コントラスト学習(CL)は近年,対人学習に応用されている。 このようなプラクティスでは、敵のサンプルをインスタンスの追加的なポジティブなビューとして捉え、互いに合意を最大化することで、敵の堅牢性が向上する。 しかし、逆の摂動はインスタンスレベルのアイデンティティの混乱を引き起こす可能性があり、異なるインスタンスを別々のIDでまとめることでCLのパフォーマンスを阻害する可能性がある。 そこで本研究では,非対称なInfoNCE目標(A-InfoNCE$)を用いて,非対称なサンプルを不平等に扱うことを提案する。 特に、敵はより弱い学習信号を誘発する劣悪な正、あるいは他の負のサンプルと高い対比を示す強硬な負と見なされる。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験により,提案手法は計算コストを増すことなく,異なる微調整スキームにまたがる既存のcl法を一貫して上回ることがわかった。 提案されたA-InfoNCEは、他のCLメソッドに容易に拡張できる汎用形式でもある。 コードはhttps://github.com/yqy2001/A-InfoNCEで入手できる。

関連論文リスト

• Effective Targeted Attacks for Adversarial Self-Supervised Learning [58.14233572578723]
  ラベル情報を持たないモデルにおいて堅牢性を達成する手段として、教師なしの敵訓練(AT)が強調されている。 本稿では,敵のSSLフレームワークを効果的に生成するために,敵の攻撃を標的とした新たな正のマイニングを提案する。 提案手法は,非コントラスト型SSLフレームワークに適用した場合のロバストネスの大幅な向上と,コントラスト型SSLフレームワークによるロバストネスの向上を示す。
  論文  参考訳（メタデータ） (2022-10-19T11:43:39Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings [69.87899694963251]
  本稿では,多彩な拡張を伴う新しいピアコントラスト学習(PCL)を提案する。 PCLは、教師なし文の埋め込みのために、グループレベルで様々な対照的な正と負を構成する。 PCLはピア陽性のコントラストとピアネットワークの協調が可能である。
  論文  参考訳（メタデータ） (2022-01-28T13:02:41Z)
• PARL: Enhancing Diversity of Ensemble Networks to Resist Adversarial Attacks via Pairwise Adversarially Robust Loss Function [13.417003144007156]
  敵の攻撃は 転送可能性の原理に 依存する傾向があります 敵攻撃に対するアンサンブル法は、敵の例が複数の分類器を誤解させる可能性が低いことを示す。 最近のアンサンブル法は、より強い敵に弱いか、エンドツーエンドの評価が欠如していることが示されている。
  論文  参考訳（メタデータ） (2021-12-09T14:26:13Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Understanding and Achieving Efficient Robustness with Adversarial Contrastive Learning [34.97017489872795]
  Adversarial Supervised Contrastive Learning (ASCL)アプローチは、堅牢な精度の観点から最先端の防御を2.6%$上回る。 提案された選択戦略を持つASCLは、選択戦略なしでASCLと比較してわずか4,2.8%のプラスと6.3%のマイナスでさらに1.4%$改善を得ることができます。
  論文  参考訳（メタデータ） (2021-01-25T11:57:52Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• ATRO: Adversarial Training with a Rejection Option [10.36668157679368]
  本稿では, 逆例による性能劣化を軽減するために, 拒否オプション付き分類フレームワークを提案する。 分類器と拒否関数を同時に適用することにより、テストデータポイントの分類に自信が不十分な場合に分類を控えることができる。
  論文  参考訳（メタデータ） (2020-10-24T14:05:03Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。