論文の概要: Robust Representation Learning via Asymmetric Negative Contrast and Reverse Attention

• arxiv url: http://arxiv.org/abs/2310.03358v1
• Date: Thu, 5 Oct 2023 07:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 17:16:12.680009
• Title: Robust Representation Learning via Asymmetric Negative Contrast and Reverse Attention
• Title（参考訳）: 非対称負のコントラストと逆注意によるロバスト表現学習
• Authors: Nuoyan Zhou, Decheng Liu, Dawei Zhou, Xinbo Gao, Nannan Wang
• Abstract要約: 敵の訓練は、ニューラルネットワークが騙されるのを防ぐ最も効果的な防衛戦略である。 しかし、ATはロバストな特徴の学習を省略し、敵のロバスト性のパフォーマンスは低下する。 非対称な負のコントラストと逆の注意によって、頑健な表現を得るためのATの一般的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 61.048842737581865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are vulnerable to adversarial noise. Adversarial training (AT) has been demonstrated to be the most effective defense strategy to protect neural networks from being fooled. However, we find AT omits to learning robust features, resulting in poor performance of adversarial robustness. To address this issue, we highlight two characteristics of robust representation: (1) $\bf{exclusion}$: the feature of natural examples keeps away from that of other classes; (2) $\bf{alignment}$: the feature of natural and corresponding adversarial examples is close to each other. These motivate us to propose a generic framework of AT to gain robust representation, by the asymmetric negative contrast and reverse attention. Specifically, we design an asymmetric negative contrast based on predicted probabilities, to push away examples of different classes in the feature space. Moreover, we propose to weight feature by parameters of the linear classifier as the reverse attention, to obtain class-aware feature and pull close the feature of the same class. Empirical evaluations on three benchmark datasets show our methods greatly advance the robustness of AT and achieve state-of-the-art performance. Code is available at <https://github.com/changzhang777/ANCRA>.
• Abstract（参考訳）: ディープニューラルネットワークは、敵のノイズに弱い。 敵の訓練(AT)は、ニューラルネットワークが騙されるのを防ぐ最も効果的な防衛戦略であることが示されている。 しかし、ATは頑健な特徴の学習を省略し、敵の頑健さの低下を招いた。 この問題に対処するために、(1)$\bf{exclusion}$: 自然例の特徴は他のクラスの特徴から遠ざかる; (2) $\bf{alignment}$: 自然例と対応する逆例の特徴は互いに近い。 これらのことは、非対称な負のコントラストと逆の注意によって、堅牢な表現を得るためのATの一般的なフレームワークを提案する動機である。 具体的には、予測確率に基づく非対称な負のコントラストを設計し、特徴空間における異なるクラスの例を除去する。 さらに,線形分類器のパラメータを逆の注意として重み付けし,クラス認識機能を取得し,同一クラスの特徴を引き出す。 3つのベンチマークデータセットの実証評価により,ATの堅牢性を大幅に向上し,最先端の性能を実現することができた。 コードはhttps://github.com/changzhang777/ancra>で入手できる。

関連論文リスト

• Improving Adversarial Robustness via Decoupled Visual Representation Masking [65.73203518658224]
  本稿では,特徴分布の観点から,ロバストな特徴の2つの新しい特性を強調した。 現状の防衛手法は、上記の2つの問題にうまく対処することを目的としている。 具体的には、分離された視覚的表現マスキングに基づく、シンプルだが効果的な防御法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T13:29:41Z)
• Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement [61.048842737581865]
  逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。 特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。 3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
  論文  参考訳（メタデータ） (2024-01-26T08:38:57Z)
• Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
  対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。 距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。 予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
  論文  参考訳（メタデータ） (2022-11-04T13:54:02Z)
• Resisting Adversarial Attacks in Deep Neural Networks using Diverse Decision Boundaries [12.312877365123267]
  深層学習システムは、人間の目には認識できないが、モデルが誤分類される可能性がある、人工的な敵の例に弱い。 我々は,オリジナルモデルに対する多様な決定境界を持つディフェンダーモデルを構築するための,アンサンブルに基づく新しいソリューションを開発した。 我々は、MNIST、CIFAR-10、CIFAR-100といった標準画像分類データセットを用いて、最先端の敵攻撃に対する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-18T08:19:26Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。