Fugu-MT 論文翻訳(概要): Smooth Adversarial Training

論文の概要: Smooth Adversarial Training

arxiv url: http://arxiv.org/abs/2006.14536v2
Date: Sun, 11 Jul 2021 00:56:58 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 02:36:49.452507
Title: Smooth Adversarial Training
Title（参考訳）: 円滑な敵の訓練
Authors: Cihang Xie, Mingxing Tan, Boqing Gong, Alan Yuille, Quoc V. Le
Abstract要約: ネットワークは正確かつ堅牢であると一般に信じられている。ここでは、敵対的訓練に関する慎重な研究により、これらの共通の信念に挑戦する証拠を提示する。本研究では、ReLUをそのスムーズな近似で置き換えて、逆行訓練を強化するスムーズな逆行訓練(SAT)を提案する。
参考スコア（独自算出の注目度）: 120.44430400607483
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is commonly believed that networks cannot be both accurate and robust, that gaining robustness means losing accuracy. It is also generally believed that, unless making networks larger, network architectural elements would otherwise matter little in improving adversarial robustness. Here we present evidence to challenge these common beliefs by a careful study about adversarial training. Our key observation is that the widely-used ReLU activation function significantly weakens adversarial training due to its non-smooth nature. Hence we propose smooth adversarial training (SAT), in which we replace ReLU with its smooth approximations to strengthen adversarial training. The purpose of smooth activation functions in SAT is to allow it to find harder adversarial examples and compute better gradient updates during adversarial training. Compared to standard adversarial training, SAT improves adversarial robustness for "free", i.e., no drop in accuracy and no increase in computational cost. For example, without introducing additional computations, SAT significantly enhances ResNet-50's robustness from 33.0% to 42.3%, while also improving accuracy by 0.9% on ImageNet. SAT also works well with larger networks: it helps EfficientNet-L1 to achieve 82.2% accuracy and 58.6% robustness on ImageNet, outperforming the previous state-of-the-art defense by 9.5% for accuracy and 11.6% for robustness. Models are available at https://github.com/cihangxie/SmoothAdversarialTraining.
Abstract（参考訳）: ネットワークは正確かつ堅牢であり得ず、堅牢性を得ることは正確さを失うことを意味すると一般的に信じられている。また、ネットワークを大きくしなければ、ネットワークアーキテクチャ要素は敵の堅牢性を改善する上ではほとんど重要でないと一般的に信じられている。ここでは,これらの共通の信念に挑戦する証拠を,敵の訓練に関する注意深く研究して提示する。注意点として,広く用いられているrelu活性化関数は,その非スムース性により,逆行訓練を著しく弱めている。そこで我々は,ReLUをそのスムーズな近似で置き換えて,対人訓練を強化するスムーズな対人訓練(SAT)を提案する。 SATのスムーズなアクティベーション関数の目的は、より難しい敵の例を見つけ、敵のトレーニング中により良い勾配更新を計算することである。 SATは標準的な対人訓練と比較して、「自由」の対人ロバスト性、すなわち精度の低下や計算コストの増大を改善できる。例えば、さらなる計算を導入することなく、SATはResNet-50の堅牢性を33.0%から42.3%に大幅に向上し、ImageNetの精度も0.9%向上した。 EfficientNet-L1が82.2%の精度と58.6%の堅牢性を達成するのに役立ち、従来の最先端の防御を9.5%、ロバスト性11.6%で上回っている。モデルはhttps://github.com/cihangxie/SmoothAdversarialTrainingで入手できる。

関連論文リスト

MeanSparse: Post-Training Robustness Enhancement Through Mean-Centered Feature Sparsification [32.70084821901212]
MeanSparseは、敵の例に対する畳み込みと注意に基づくニューラルネットワークの堅牢性を改善する方法である。実験の結果,MeanSparseは75.28%の新しいロバストネス記録を達成した。
論文参考訳（メタデータ） (2024-06-09T22:14:55Z)
Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
論文参考訳（メタデータ） (2023-06-25T15:53:31Z)
RUSH: Robust Contrastive Learning via Randomized Smoothing [31.717748554905015]
本稿では、対照的な事前学習がロバストネスと興味深いが暗黙の結びつきを持っているという驚くべき事実を示す。我々は、標準的なコントラスト付き事前学習とランダムな平滑化を組み合わせた強力な対逆攻撃に対する堅牢なアルゴリズムRUSHを設計する。我々の研究は、最先端技術と比較して、堅牢な精度が15%以上向上し、標準精度がわずかに改善されている。
論文参考訳（メタデータ） (2022-07-11T18:45:14Z)
AdvRush: Searching for Adversarially Robust Neural Architectures [17.86463546971522]
本稿では,ニューラルアーキテクチャ探索アルゴリズムAdvRushを提案する。 AdvRushは、よりスムーズな入力損失ランドスケープを持つ候補アーキテクチャを好む正規化器を通じて、対向的に堅牢なニューラルネットワークアーキテクチャの発見に成功した。
論文参考訳（メタデータ） (2021-08-03T04:27:33Z)
To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
論文参考訳（メタデータ） (2020-10-13T02:21:54Z)
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training [56.82000424924979]
入力サンプルに条件付きでネットワークを適応させる条件正規化モジュールを提案する。適応的ネットワークは、一度逆さまに訓練された場合、クリーンな検証精度と堅牢性の両方において、適応的でないネットワークよりも優れています。
論文参考訳（メタデータ） (2020-05-30T23:23:56Z)
Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
論文参考訳（メタデータ） (2020-03-28T18:28:33Z)
SAT: Improving Adversarial Training via Curriculum-Based Loss Smoothing [11.406879470613186]
カリキュラム学習は, 学習の「難易度」を重視し, 学習の「難易度」を徐々に上昇させ, 適度に選択された難易度基準のために, 対人的損失の景観を円滑化させる。 SATは、大きな摂動規範であってもネットワークトレーニングを安定させ、ATと比較して、ネットワークがよりクリーンな精度で運用できることを実証した。
論文参考訳（メタデータ） (2020-03-18T20:59:45Z)
Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。