論文の概要: Topology-Preserving Adversarial Training

• arxiv url: http://arxiv.org/abs/2311.17607v1
• Date: Wed, 29 Nov 2023 13:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 21:19:38.452707
• Title: Topology-Preserving Adversarial Training
• Title（参考訳）: トポロジー保存型対向訓練
• Authors: Xiaoyue Mi, Fan Tang, Yepeng Weng, Danding Wang, Juan Cao, Sheng Tang, Peng Li, Yang Liu
• Abstract要約: 逆行訓練は、自然な精度劣化問題に悩まされている。 本稿では,この問題を緩和するためのトポロジ-pserving Adversarial training (TRAIN)を提案する。 提案手法は, 自然精度が最大8.78%向上し, 頑健さが4.50%向上した。
• 参考スコア（独自算出の注目度）: 28.129537658382848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the effectiveness in improving the robustness of neural networks, adversarial training has suffered from the natural accuracy degradation problem, i.e., accuracy on natural samples has reduced significantly. In this study, we reveal that natural accuracy degradation is highly related to the disruption of the natural sample topology in the representation space by quantitative and qualitative experiments. Based on this observation, we propose Topology-pReserving Adversarial traINing (TRAIN) to alleviate the problem by preserving the topology structure of natural samples from a standard model trained only on natural samples during adversarial training. As an additional regularization, our method can easily be combined with various popular adversarial training algorithms in a plug-and-play manner, taking advantage of both sides. Extensive experiments on CIFAR-10, CIFAR-100, and Tiny ImageNet show that our proposed method achieves consistent and significant improvements over various strong baselines in most cases. Specifically, without additional data, our proposed method achieves up to 8.78% improvement in natural accuracy and 4.50% improvement in robust accuracy.
• Abstract（参考訳）: ニューラルネットワークの堅牢性を向上する効果にもかかわらず、逆行訓練は自然の精度劣化問題、すなわち自然のサンプルの精度が著しく低下している。 本研究では, 定量的・質的実験により, 表現空間における自然試料トポロジーの破壊と自然精度の低下が強く関連していることを示す。 そこで,本研究では,自然サンプルのみを対象とする標準モデルから自然サンプルのトポロジー構造を保存し,この問題を軽減するためのトポロジー保存逆訓練(train)を提案する。 追加の正規化として、この手法は様々な一般的な敵訓練アルゴリズムと組み合わせることで、双方の利点を生かして簡単に組み合わせることができる。 CIFAR-10, CIFAR-100, Tiny ImageNet の大規模な実験により, 提案手法は, 多くの場合, 様々な強いベースラインに対して一貫した, 重要な改善を達成できることを示した。 具体的には, 追加データなしで自然精度が最大8.78%向上し, 頑健さが4.50%向上した。

関連論文リスト

• Towards Reliable Evaluation of Neural Program Repair with Natural Robustness Testing [2.763736939516234]
  まず,2段階の人間研究を通して意味保存変換の自然性について検討する。 次に,実世界のデータ変動に対する実効性を評価するために,NPR技術を用いた自然ロバストネス試験を行う。
  論文  参考訳（メタデータ） (2024-02-19T07:07:44Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Splitting the Difference on Adversarial Training [13.470640587945057]
  敵の訓練は 敵の例に対する 最も効果的な防御の1つです 本研究では、各クラスの摂動例を学習対象の別クラスとして扱うことにより、根本的に異なるアプローチをとる。 この分割は学習するクラスの数を2倍にするが、同時に決定境界を大幅に単純化する。
  論文  参考訳（メタデータ） (2023-10-03T23:09:47Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
  Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。 CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-03-24T12:01:24Z)
• Natural Perturbed Training for General Robustness of Neural Network Classifiers [0.0]
  自然摂動学習は、自然摂動画像だけでなく、清潔で敵意のある画像に対する敵の訓練よりも、より良く、はるかに速いパフォーマンスを示す。 cifar-10とstl-10の自然摂動トレーニングでは、クリーンデータの精度が向上し、アートパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-03-21T11:47:38Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
  逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。 本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T02:21:54Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。