論文の概要: Understanding and Achieving Efficient Robustness with Adversarial Contrastive Learning

• arxiv url: http://arxiv.org/abs/2101.10027v1
• Date: Mon, 25 Jan 2021 11:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 19:22:31.840975
• Title: Understanding and Achieving Efficient Robustness with Adversarial Contrastive Learning
• Title（参考訳）: 対比対比学習による効率的なロバストネスの理解と達成
• Authors: Anh Bui, Trung Le, He Zhao, Paul Montague, Seyit Camtepe, Dinh Phung
• Abstract要約: Adversarial Supervised Contrastive Learning (ASCL)アプローチは、堅牢な精度の観点から最先端の防御を2.6%$上回る。 提案された選択戦略を持つASCLは、選択戦略なしでASCLと比較してわずか4,2.8%のプラスと6.3%のマイナスでさらに1.4%$改善を得ることができます。
• 参考スコア（独自算出の注目度）: 34.97017489872795
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contrastive learning (CL) has recently emerged as an effective approach to learning representation in a range of downstream tasks. Central to this approach is the selection of positive (similar) and negative (dissimilar) sets to provide the model the opportunity to `contrast' between data and class representation in the latent space. In this paper, we investigate CL for improving model robustness using adversarial samples. We first designed and performed a comprehensive study to understand how adversarial vulnerability behaves in the latent space. Based on these empirical evidences, we propose an effective and efficient supervised contrastive learning to achieve model robustness against adversarial attacks. Moreover, we propose a new sample selection strategy that optimizes the positive/negative sets by removing redundancy and improving correlation with the anchor. Experiments conducted on benchmark datasets show that our Adversarial Supervised Contrastive Learning (ASCL) approach outperforms the state-of-the-art defenses by $2.6\%$ in terms of the robust accuracy, whilst our ASCL with the proposed selection strategy can further gain $1.4\%$ improvement with only $42.8\%$ positives and $6.3\%$ negatives compared with ASCL without a selection strategy.
• Abstract（参考訳）: 対比学習(CL)は最近、さまざまな下流タスクで表現を学習するための効果的なアプローチとして登場しました。 このアプローチの中心となるのは、潜在空間におけるデータとクラス表現の間の「コントラスト」の機会をモデルに提供するための正(類似)と負(類似)のセットの選択である。 本論文では,対向サンプルを用いたモデル堅牢性向上のためのCLについて検討する。 我々はまず、潜伏空間における敵の脆弱性がどのように振る舞うかを理解するための総合的研究を設計し、実施した。 これらの実証的証拠に基づいて,敵攻撃に対するモデルロバスト性を実現するために,効果的かつ効率的な教師付きコントラスト学習を提案する。 さらに,冗長性を除去し,アンカーとの相関性を改善することにより,正負のセットを最適化する新しいサンプル選択戦略を提案する。 ベンチマークデータセット上で行われた実験は、Adversarial Supervised Contrastive Learning(ASCL)アプローチが、堅牢な精度の観点から最先端の防御を2.6\%$上回ることを示し、提案された選択戦略を備えたASCLは、選択戦略なしでASCLと比較してわずか4.8\%$陽性と$6.3\%$陰性でさらに1.4\%$の改善を得ることができます。

関連論文リスト

• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• Evaluating and Safeguarding the Adversarial Robustness of Retrieval-Based In-Context Learning [21.018893978967053]
  In-Context Learning (ICL) は、プロンプトでデモをエンコードするために使用される選択、順序、動詞に敏感である。 Retrieval-Augmented ICLメソッドは、レトリバーを活用して、意味論的に関連する例を例示として抽出することで、この問題に対処しようとする。 本研究は, 検索強化モデルにより, 検体攻撃に対する堅牢性が向上することを明らかにする。 そこで本研究では,攻撃したサンプルを用いてサンプルプールを充実させる,効果的な訓練自由対人防御手法であるDARDを導入する。
  論文  参考訳（メタデータ） (2024-05-24T23:56:36Z)
• Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition [22.067143671631303]
  自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
  論文  参考訳（メタデータ） (2023-05-03T10:31:35Z)
• Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution Detection [0.0]
  教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。 本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-06T07:21:03Z)
• Effective Targeted Attacks for Adversarial Self-Supervised Learning [58.14233572578723]
  ラベル情報を持たないモデルにおいて堅牢性を達成する手段として、教師なしの敵訓練(AT)が強調されている。 本稿では,敵のSSLフレームワークを効果的に生成するために,敵の攻撃を標的とした新たな正のマイニングを提案する。 提案手法は,非コントラスト型SSLフレームワークに適用した場合のロバストネスの大幅な向上と,コントラスト型SSLフレームワークによるロバストネスの向上を示す。
  論文  参考訳（メタデータ） (2022-10-19T11:43:39Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder [18.375585982984845]
  我々は,モデルの訓練過程において,勾配に基づく敵攻撃を防御するモデルの能力の向上に焦点をあてる。 本稿では, CARL と RAR の2つの新しい対戦訓練手法を提案する。 実験により,提案した2つの手法は,テキスト分類データセットにおいて高いベースラインを達成していることが示された。
  論文  参考訳（メタデータ） (2021-09-14T09:08:58Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。