論文の概要: RUSH: Robust Contrastive Learning via Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2207.05127v1
• Date: Mon, 11 Jul 2022 18:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 13:58:55.642867
• Title: RUSH: Robust Contrastive Learning via Randomized Smoothing
• Title（参考訳）: RUSH:ランダムな平滑化によるロバストなコントラスト学習
• Authors: Yijiang Pang, Boyang Liu, Jiayu Zhou
• Abstract要約: 本稿では、対照的な事前学習がロバストネスと興味深いが暗黙の結びつきを持っているという驚くべき事実を示す。 我々は、標準的なコントラスト付き事前学習とランダムな平滑化を組み合わせた強力な対逆攻撃に対する堅牢なアルゴリズムRUSHを設計する。 我々の研究は、最先端技術と比較して、堅牢な精度が15%以上向上し、標準精度がわずかに改善されている。
• 参考スコア（独自算出の注目度）: 31.717748554905015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, adversarial training has been incorporated in self-supervised contrastive pre-training to augment label efficiency with exciting adversarial robustness. However, the robustness came at a cost of expensive adversarial training. In this paper, we show a surprising fact that contrastive pre-training has an interesting yet implicit connection with robustness, and such natural robustness in the pre trained representation enables us to design a powerful robust algorithm against adversarial attacks, RUSH, that combines the standard contrastive pre-training and randomized smoothing. It boosts both standard accuracy and robust accuracy, and significantly reduces training costs as compared with adversarial training. We use extensive empirical studies to show that the proposed RUSH outperforms robust classifiers from adversarial training, by a significant margin on common benchmarks (CIFAR-10, CIFAR-100, and STL-10) under first-order attacks. In particular, under $\ell_{\infty}$-norm perturbations of size 8/255 PGD attack on CIFAR-10, our model using ResNet-18 as backbone reached 77.8% robust accuracy and 87.9% standard accuracy. Our work has an improvement of over 15% in robust accuracy and a slight improvement in standard accuracy, compared to the state-of-the-arts.
• Abstract（参考訳）: 近年,エキサイティングな対人ロバスト性を持つラベル効率を高めるために,自己指導型コントラスト事前訓練に対人トレーニングが取り入れられている。 しかし、その頑丈さは、高価な敵の訓練に費やされた。 本稿では,コントラストプリトレーニングがロバスト性と興味深いが暗黙のつながりを持つという事実を示し,このような自然なロバスト性は,標準的なコントラストプリトレーニングとランダム化スムージングを組み合わせた,敵対的攻撃に対する強力なロバストアルゴリズムの設計を可能にする。 標準的正確性と堅牢な正確性の両方を向上し、敵対的なトレーニングに比べてトレーニングコストを大幅に削減する。 提案したRUSHは,1次攻撃下での共通ベンチマーク (CIFAR-10, CIFAR-100, STL-10) において, 逆行訓練による堅牢な分類器よりも優れていることを示す。 特に、CIFAR-10に対する8/255 PGD攻撃の$\ell_{\infty}$-norm摂動では、バックボーンとしてResNet-18を使用したモデルが77.8%、標準精度87.9%に達した。 我々の研究は、最先端技術と比較して、堅牢な精度が15%以上向上し、標準精度がわずかに改善されている。

関連論文リスト

• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Frequency Regularization for Improving Adversarial Robustness [8.912245110734334]
  対人訓練(AT)は効果的な防御方法であることが証明されている。 スペクトル領域の出力差を調整するために周波数正則化(FR)を提案する。 本手法は,PGD-20,C&W,オートアタックによる攻撃に対する強靭性を実現する。
  論文  参考訳（メタデータ） (2022-12-24T13:14:45Z)
• Robustness Evaluation and Adversarial Training of an Instance Segmentation Model [0.0]
  確率的局所同値性は,標準学習モデルと逆学習モデルとを区別できることを示す。 確率的局所同値性は,標準学習モデルと逆学習モデルとを区別できることを示す。
  論文  参考訳（メタデータ） (2022-06-02T02:18:09Z)
• Adversarial Training with Rectified Rejection [114.83821848791206]
  本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。 軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T08:24:53Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
  逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。 本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T02:21:54Z)
• Smooth Adversarial Training [120.44430400607483]
  ネットワークは正確かつ堅牢であると一般に信じられている。 ここでは、敵対的訓練に関する慎重な研究により、これらの共通の信念に挑戦する証拠を提示する。 本研究では、ReLUをそのスムーズな近似で置き換えて、逆行訓練を強化するスムーズな逆行訓練(SAT)を提案する。
  論文  参考訳（メタデータ） (2020-06-25T16:34:39Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。