論文の概要: Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free

• arxiv url: http://arxiv.org/abs/2010.11828v2
• Date: Tue, 10 Nov 2020 08:18:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:47:53.565543
• Title: Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free
• Title（参考訳）: 一度の対人訓練:自由のためのロバストさと正確さのトレードオフ
• Authors: Haotao Wang, Tianlong Chen, Shupeng Gui, Ting-Kuei Hu, Ji Liu and Zhangyang Wang
• Abstract要約: 敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
• 参考スコア（独自算出の注目度）: 115.81899803240758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training and its many variants substantially improve deep network robustness, yet at the cost of compromising standard accuracy. Moreover, the training process is heavy and hence it becomes impractical to thoroughly explore the trade-off between accuracy and robustness. This paper asks this new question: how to quickly calibrate a trained model in-situ, to examine the achievable trade-offs between its standard and robust accuracies, without (re-)training it many times? Our proposed framework, Once-for-all Adversarial Training (OAT), is built on an innovative model-conditional training framework, with a controlling hyper-parameter as the input. The trained model could be adjusted among different standard and robust accuracies "for free" at testing time. As an important knob, we exploit dual batch normalization to separate standard and adversarial feature statistics, so that they can be learned in one model without degrading performance. We further extend OAT to a Once-for-all Adversarial Training and Slimming (OATS) framework, that allows for the joint trade-off among accuracy, robustness and runtime efficiency. Experiments show that, without any re-training nor ensembling, OAT/OATS achieve similar or even superior performance compared to dedicatedly trained models at various configurations. Our codes and pretrained models are available at: https://github.com/VITA-Group/Once-for-All-Adversarial-Training.
• Abstract（参考訳）: adversarial trainingとその多くの変種はディープネットワークの堅牢性を大幅に改善したが、標準精度を妥協するコストがかかる。 さらに、トレーニングプロセスは重く、正確性と堅牢性の間のトレードオフを徹底的に検討することは非現実的になる。 この論文は、トレーニングされたモデルをその場で迅速に校正し、その標準と堅牢なアキュラシーの間の達成可能なトレードオフを、何回も(再)訓練することなく調査する方法を問う。 提案手法は,超パラメータ制御を入力として,革新的なモデル条件トレーニングフレームワークを基盤として構築した。 トレーニングされたモデルは、テスト時にさまざまな標準と堅牢なアキュラシを“無償”で調整することができる。 重要なノブとして,2重バッチ正規化を標準特徴統計と逆特徴統計の分離に活用し,性能を低下させることなく1つのモデルで学習できるようにする。 さらに私たちは,OATを,正確性,堅牢性,実行効率の両面において共同でトレードオフを可能にする,OATS(One-for-all Adversarial Training and Slimming)フレームワークに拡張しています。 実験によれば、oat/oatは再トレーニングもセンシングも行わず、様々な構成で専用に訓練されたモデルと同等またはそれ以上の性能を達成している。 私たちのコードと事前訓練済みモデルは、https://github.com/VITA-Group/Once-for-All-Adversarial-Training.comで利用可能です。

関連論文リスト

• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Constant Random Perturbations Provide Adversarial Robustness with Minimal Effect on Accuracy [41.84118016227271]
  本稿では,ニューラルネットワークモデルの敵対的ロバスト性を改善するための攻撃非依存(非敵訓練)手法を提案する。 各トレーニング例の周辺に,その地区内のすべての入力に対してラベルが一定に維持されるような地区を作成することを提案する。 提案手法は,バニラ対人訓練と比較してロバスト性を高めつつ,他の防御に対する標準精度を向上させることが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T10:44:59Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• A Novel DNN Training Framework via Data Sampling and Multi-Task Optimization [7.001799696806368]
  DNNモデルをトレーニングするための新しいフレームワークを提案する。 ランダムスプリッティングにより、総合的なトレーニングセットから複数のトレーニングセットと検証セットを生成する。 トレーニングされたすべてのモデルの中で最高のパフォーマンスを出力し、すべてのペアから検証セット全体で全体の最高のパフォーマンスを出力します。
  論文  参考訳（メタデータ） (2020-07-02T10:58:57Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。