論文の概要: Topology-preserving Adversarial Training for Alleviating Natural Accuracy Degradation

• arxiv url: http://arxiv.org/abs/2311.17607v2
• Date: Mon, 19 Aug 2024 11:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 04:07:00.029772
• Title: Topology-preserving Adversarial Training for Alleviating Natural Accuracy Degradation
• Title（参考訳）: 自然の精度劣化軽減のためのトポロジー保存補助訓練
• Authors: Xiaoyue Mi, Fan Tang, Yepeng Weng, Danding Wang, Juan Cao, Sheng Tang, Peng Li, Yang Liu,
• Abstract要約: 逆行訓練は、自然な精度劣化問題に悩まされている。 本稿では,この問題を緩和するためのトポロジ-pserving Adversarial training (TRAIN)を提案する。 我々は,TRAINの自然精度は8.86%,頑健さは6.33%向上することを示した。
• 参考スコア（独自算出の注目度）: 27.11004064848789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the effectiveness in improving the robustness of neural networks, adversarial training has suffered from the natural accuracy degradation problem, i.e., accuracy on natural samples has reduced significantly. In this study, we reveal that natural accuracy degradation is highly related to the disruption of the natural sample topology in the representation space by quantitative and qualitative experiments. Based on this observation, we propose Topology-pReserving Adversarial traINing (TRAIN) to alleviate the problem by preserving the topology structure of natural samples from a standard model trained only on natural samples during adversarial training. As an additional regularization, our method can be combined with various popular adversarial training algorithms, taking advantage of both sides. Extensive experiments on CIFAR-10, CIFAR-100, and Tiny ImageNet show that our proposed method achieves consistent and significant improvements over various strong baselines in most cases. Specifically, without additional data, TRAIN achieves up to 8.86% improvement in natural accuracy and 6.33% improvement in robust accuracy.
• Abstract（参考訳）: ニューラルネットワークの堅牢性を向上する効果にもかかわらず、逆行訓練は自然の精度劣化問題、すなわち自然のサンプルの精度が著しく低下している。 本研究では, 自然な精度劣化が, 定量的, 定性的な実験により, 表現空間における自然試料位相の破壊と密接に関連していることを明らかにする。 本研究は, 自然試料のトポロジー構造を, 自然試料のみに基づいて学習した標準モデルから保存することにより, 問題を緩和するトポロジー保存型逆トポロジートポグラフィ(TRAIN)を提案する。 さらなる正規化として,本手法は両面を活かして,様々な一般的な対角訓練アルゴリズムと組み合わせることができる。 CIFAR-10, CIFAR-100, Tiny ImageNet の大規模な実験により, 提案手法は, 多くの場合, 様々な強いベースラインに対して一貫した, 重要な改善を達成できることを示した。 具体的には、追加データなしでは、TRAINは自然精度が8.86%、堅牢さが6.33%向上する。

関連論文リスト

• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Splitting the Difference on Adversarial Training [13.470640587945057]
  敵の訓練は 敵の例に対する 最も効果的な防御の1つです 本研究では、各クラスの摂動例を学習対象の別クラスとして扱うことにより、根本的に異なるアプローチをとる。 この分割は学習するクラスの数を2倍にするが、同時に決定境界を大幅に単純化する。
  論文  参考訳（メタデータ） (2023-10-03T23:09:47Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
  Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。 CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-03-24T12:01:24Z)
• Natural Perturbed Training for General Robustness of Neural Network Classifiers [0.0]
  自然摂動学習は、自然摂動画像だけでなく、清潔で敵意のある画像に対する敵の訓練よりも、より良く、はるかに速いパフォーマンスを示す。 cifar-10とstl-10の自然摂動トレーニングでは、クリーンデータの精度が向上し、アートパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-03-21T11:47:38Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
  逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。 本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T02:21:54Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。