論文の概要: Topology-Preserving Adversarial Training

• arxiv url: http://arxiv.org/abs/2311.17607v1
• Date: Wed, 29 Nov 2023 13:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 21:19:38.452707
• Title: Topology-Preserving Adversarial Training
• Title（参考訳）: トポロジー保存型対向訓練
• Authors: Xiaoyue Mi, Fan Tang, Yepeng Weng, Danding Wang, Juan Cao, Sheng Tang, Peng Li, Yang Liu
• Abstract要約: 逆行訓練は、自然な精度劣化問題に悩まされている。 本稿では,この問題を緩和するためのトポロジ-pserving Adversarial training (TRAIN)を提案する。 提案手法は, 自然精度が最大8.78%向上し, 頑健さが4.50%向上した。
• 参考スコア（独自算出の注目度）: 28.129537658382848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the effectiveness in improving the robustness of neural networks, adversarial training has suffered from the natural accuracy degradation problem, i.e., accuracy on natural samples has reduced significantly. In this study, we reveal that natural accuracy degradation is highly related to the disruption of the natural sample topology in the representation space by quantitative and qualitative experiments. Based on this observation, we propose Topology-pReserving Adversarial traINing (TRAIN) to alleviate the problem by preserving the topology structure of natural samples from a standard model trained only on natural samples during adversarial training. As an additional regularization, our method can easily be combined with various popular adversarial training algorithms in a plug-and-play manner, taking advantage of both sides. Extensive experiments on CIFAR-10, CIFAR-100, and Tiny ImageNet show that our proposed method achieves consistent and significant improvements over various strong baselines in most cases. Specifically, without additional data, our proposed method achieves up to 8.78% improvement in natural accuracy and 4.50% improvement in robust accuracy.
• Abstract（参考訳）: ニューラルネットワークの堅牢性を向上する効果にもかかわらず、逆行訓練は自然の精度劣化問題、すなわち自然のサンプルの精度が著しく低下している。 本研究では, 定量的・質的実験により, 表現空間における自然試料トポロジーの破壊と自然精度の低下が強く関連していることを示す。 そこで,本研究では,自然サンプルのみを対象とする標準モデルから自然サンプルのトポロジー構造を保存し,この問題を軽減するためのトポロジー保存逆訓練(train)を提案する。 追加の正規化として、この手法は様々な一般的な敵訓練アルゴリズムと組み合わせることで、双方の利点を生かして簡単に組み合わせることができる。 CIFAR-10, CIFAR-100, Tiny ImageNet の大規模な実験により, 提案手法は, 多くの場合, 様々な強いベースラインに対して一貫した, 重要な改善を達成できることを示した。 具体的には, 追加データなしで自然精度が最大8.78%向上し, 頑健さが4.50%向上した。

関連論文リスト

• Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
  この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。 我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
  論文  参考訳（メタデータ） (2023-12-26T12:19:22Z)
• Debias the Training of Diffusion Models [53.49637348771626]
  本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。 理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。 これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Splitting the Difference on Adversarial Training [13.470640587945057]
  敵の訓練は 敵の例に対する 最も効果的な防御の1つです 本研究では、各クラスの摂動例を学習対象の別クラスとして扱うことにより、根本的に異なるアプローチをとる。 この分割は学習するクラスの数を2倍にするが、同時に決定境界を大幅に単純化する。
  論文  参考訳（メタデータ） (2023-10-03T23:09:47Z)
• Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness [28.853413482357634]
  局所構造保存(LSP)正則化は、学習された埋め込み空間における入力空間の局所構造を保存することを目的としている。 本研究では,学習した埋め込み空間における入力空間の局所構造を保存することを目的とした,新しい局所構造保存(LSP)正規化を提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:18:58Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Natural Perturbed Training for General Robustness of Neural Network Classifiers [0.0]
  自然摂動学習は、自然摂動画像だけでなく、清潔で敵意のある画像に対する敵の訓練よりも、より良く、はるかに速いパフォーマンスを示す。 cifar-10とstl-10の自然摂動トレーニングでは、クリーンデータの精度が向上し、アートパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-03-21T11:47:38Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。