論文の概要: Annealing Self-Distillation Rectification Improves Adversarial Training

• arxiv url: http://arxiv.org/abs/2305.12118v2
• Date: Sat, 13 Apr 2024 15:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 00:17:02.265475
• Title: Annealing Self-Distillation Rectification Improves Adversarial Training
• Title（参考訳）: 焼成自己蒸留法は対人訓練を改善する
• Authors: Yu-Yu Wu, Hung-Jui Wang, Shang-Tse Chen,
• Abstract要約: 我々は、ロバストモデルの特徴を分析し、ロバストモデルがよりスムーズでよく校正された出力を生成する傾向があることを特定する。 より優れた誘導機構としてソフトラベルを生成するアニーリング自己蒸留法を提案する。 我々は、広範囲な実験とデータセット間の強力なパフォーマンスを通して、ADRの有効性を実証する。
• 参考スコア（独自算出の注目度）: 0.10241134756773226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In standard adversarial training, models are optimized to fit one-hot labels within allowable adversarial perturbation budgets. However, the ignorance of underlying distribution shifts brought by perturbations causes the problem of robust overfitting. To address this issue and enhance adversarial robustness, we analyze the characteristics of robust models and identify that robust models tend to produce smoother and well-calibrated outputs. Based on the observation, we propose a simple yet effective method, Annealing Self-Distillation Rectification (ADR), which generates soft labels as a better guidance mechanism that accurately reflects the distribution shift under attack during adversarial training. By utilizing ADR, we can obtain rectified distributions that significantly improve model robustness without the need for pre-trained models or extensive extra computation. Moreover, our method facilitates seamless plug-and-play integration with other adversarial training techniques by replacing the hard labels in their objectives. We demonstrate the efficacy of ADR through extensive experiments and strong performances across datasets.
• Abstract（参考訳）: 標準的な対向訓練では、モデルは許容される対向的摂動予算内に1ホットラベルを適合するように最適化される。 しかし、摂動によって引き起こされる分布シフトの無知は、頑健なオーバーフィッティングの問題を引き起こす。 この問題に対処し、対向的ロバスト性を高めるために、ロバストモデルの特徴を分析し、ロバストモデルがよりスムーズでよく校正された出力を生成する傾向があることを特定する。 そこで本研究では,攻撃時の分散シフトを正確に反映した指導機構として,ソフトラベルを生成する,簡易かつ効果的な自己蒸留法を提案する。 ADRを利用することで、事前訓練されたモデルや広範な余剰計算を必要とせずに、モデルロバスト性を大幅に改善する正当分布を得ることができる。 さらに,本手法は,ハードラベルをその目的に置き換えることにより,他の逆行訓練手法とのシームレスなプラグイン・アンド・プレイ統合を容易にする。 我々は、広範囲な実験とデータセット間の強力なパフォーマンスを通して、ADRの有効性を実証する。

関連論文リスト

• Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial Training [20.1991376813843]
  我々は、HFAT(Hider-Focused Adversarial Training)と呼ばれる一般化した逆トレーニングアルゴリズムを提案する。 HFATは、標準的な対向訓練と予防隠蔽装置の最適化方向を組み合わせたものである。 提案手法の有効性を実験により検証した。
  論文  参考訳（メタデータ） (2023-12-12T08:41:18Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
  健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。 本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。 さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2022-04-28T00:07:15Z)
• Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better [66.69777970159558]
  本稿では,ロバスト軟ラベル蒸留法(RSLAD)と呼ばれる新しい対向ロバスト蒸留法を提案する。 RSLADは、学生の学習をガイドするために、頑健な(逆向きに訓練された)大きな教師モデルによって生成される頑健なソフトラベルを完全に活用する。 我々は,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2021-08-18T04:32:35Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)
• Improving Calibration through the Relationship with Adversarial Robustness [19.384119330332446]
  対向ロバスト性とキャリブレーションの関係について検討する。 逆ロバスト性に基づく適応ラベリング(AR-AdaLS)を提案する。 本手法は,分布シフト下においても,分布内データの対角的ロバスト性を考慮し,モデルに対するキャリブレーションが向上することを見出した。
  論文  参考訳（メタデータ） (2020-06-29T20:56:33Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。