論文の概要: Geometry-aware Instance-reweighted Adversarial Training

• arxiv url: http://arxiv.org/abs/2010.01736v2
• Date: Mon, 31 May 2021 02:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:30:57.698491
• Title: Geometry-aware Instance-reweighted Adversarial Training
• Title（参考訳）: 幾何認識型インスタンス重み付き対向訓練
• Authors: Jingfeng Zhang, Jianing Zhu, Gang Niu, Bo Han, Masashi Sugiyama, and Mohan Kankanhalli
• Abstract要約: 敵対的機械学習では、堅牢性と正確性がお互いを傷つけるという共通の信念があった。 本稿では,自然データ点の攻撃がいかに難しいかに基づいて,幾何対応のインスタンス再重み付き対向訓練を提案する。 実験の結果,本提案は標準的な対人訓練の堅牢性を高めることが示唆された。
• 参考スコア（独自算出の注目度）: 78.70024866515756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In adversarial machine learning, there was a common belief that robustness and accuracy hurt each other. The belief was challenged by recent studies where we can maintain the robustness and improve the accuracy. However, the other direction, whether we can keep the accuracy while improving the robustness, is conceptually and practically more interesting, since robust accuracy should be lower than standard accuracy for any model. In this paper, we show this direction is also promising. Firstly, we find even over-parameterized deep networks may still have insufficient model capacity, because adversarial training has an overwhelming smoothing effect. Secondly, given limited model capacity, we argue adversarial data should have unequal importance: geometrically speaking, a natural data point closer to/farther from the class boundary is less/more robust, and the corresponding adversarial data point should be assigned with larger/smaller weight. Finally, to implement the idea, we propose geometry-aware instance-reweighted adversarial training, where the weights are based on how difficult it is to attack a natural data point. Experiments show that our proposal boosts the robustness of standard adversarial training; combining two directions, we improve both robustness and accuracy of standard adversarial training.
• Abstract（参考訳）: 敵対的機械学習では、堅牢性と正確性がお互いを傷つけるという共通の信念があった。 この信念は、ロバスト性を維持し、精度を向上できる最近の研究によって挑戦された。 しかしながら、ロバスト性を改善しながら精度を維持することができるかどうかに関わらず、ロバスト性はどのモデルにおいても標準精度よりも低くなければならないため、概念的にも実際的にも興味深い。 本稿では,この方向も有望であることを示す。 第一に、過度にパラメータ化されたディープネットワークでさえ、モデルの能力に不足している可能性がある。 幾何学的には、クラス境界に近い自然なデータポイントは、よりロバストであり、対応する逆のデータポイントは、より大きく、より小さな重みで割り当てられるべきである。 最後に,本手法を実装するために,重み付けが自然データポイントへの攻撃がいかに難しいかに基づく,幾何認識型インスタンス重み付き逆学習を提案する。 実験の結果,提案手法は標準対向訓練の堅牢性を高め,二つの方向を組み合わせることにより,標準対向訓練の堅牢性と精度を向上することがわかった。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• How many perturbations break this model? Evaluating robustness beyond adversarial accuracy [28.934863462633636]
  入力点と摂動方向の制約の両方が与えられた摂動を成功させることがいかに困難であるかを定量化する。 空間性は、ニューラルネットワークに関する貴重な洞察を、複数の方法で提供することを示す。
  論文  参考訳（メタデータ） (2022-07-08T21:25:17Z)
• Improving robustness of language models from a geometry-aware perspective [26.00766188904812]
  少ないステップで効率的に強靭性を得る。 本稿では,友好的な敵対データを生成するために,友好的な敵対データ拡張(FADA)を提案する。 そこで本研究では,FADA上に位置認識型対角訓練(GAT)を導入し,友好的対角データに対する対角訓練を行う。
  論文  参考訳（メタデータ） (2022-04-28T07:07:47Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)
• Improving the affordability of robustness training for DNNs [11.971637253035107]
  逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。 提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-02-11T07:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。