論文の概要: Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation

• arxiv url: http://arxiv.org/abs/2409.12946v1
• Date: Thu, 19 Sep 2024 17:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 12:48:01.346101
• Title: Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation
• Title（参考訳）: ノイズを考慮したオンラインロバスト蒸留による半教師付き対向ロバスト性の再検討
• Authors: Tsung-Han Wu, Hung-Ting Su, Shang-Tse Chen, Winston H. Hsu,
• Abstract要約: SNORDは、現代の半教師あり学習技術を対人訓練の領域に導入するフレームワークである。 SNORDは、さまざまなデータセットとラベルの予算にまたがって、印象的で最先端のパフォーマンスを誇示している。 完全な敵監督と比較すると、SNORDはエプシロン=8/255オートアタックの下で90%の相対的な堅牢な精度を達成している。
• 参考スコア（独自算出の注目度）: 26.156531376140652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The robust self-training (RST) framework has emerged as a prominent approach for semi-supervised adversarial training. To explore the possibility of tackling more complicated tasks with even lower labeling budgets, unlike prior approaches that rely on robust pretrained models, we present SNORD - a simple yet effective framework that introduces contemporary semi-supervised learning techniques into the realm of adversarial training. By enhancing pseudo labels and managing noisy training data more effectively, SNORD showcases impressive, state-of-the-art performance across diverse datasets and labeling budgets, all without the need for pretrained models. Compared to full adversarial supervision, SNORD achieves a 90% relative robust accuracy under epsilon = 8/255 AutoAttack, requiring less than 0.1%, 2%, and 10% labels for CIFAR-10, CIFAR-100, and TinyImageNet-200, respectively. Additional experiments confirm the efficacy of each component and demonstrate the adaptability of integrating SNORD with existing adversarial pretraining strategies to further bolster robustness.
• Abstract（参考訳）: 頑健な自己訓練(RST)フレームワークは、半教師付き対人訓練の顕著なアプローチとして登場した。 より複雑なタスクにラベル付け予算を減らして対処する可能性を探るため、頑健な事前学習モデルに依存した従来のアプローチとは異なり、現代の半教師あり学習技術を対人訓練の領域に導入するシンプルで効果的なフレームワークであるSNORDを提案する。 擬似ラベルを強化し、より効果的にノイズの多いトレーニングデータを管理することで、SNORDは、さまざまなデータセットとラベルの予算にまたがる、印象的で最先端のパフォーマンスを、事前訓練されたモデルを必要とせずに示す。 完全な敵監督と比較して、SNORDはエプシロン=8/255オートアタックで90%の相対的精度を達成しており、それぞれCIFAR-10、CIFAR-100、TinyImageNet-200のラベルは0.1%未満、2%、10%未満である。 追加実験により, 各成分の有効性を確認し, SNORDと既存の敵前訓練戦略を統合することにより, より堅牢性を高める効果が示された。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Constant Random Perturbations Provide Adversarial Robustness with Minimal Effect on Accuracy [41.84118016227271]
  本稿では,ニューラルネットワークモデルの敵対的ロバスト性を改善するための攻撃非依存(非敵訓練)手法を提案する。 各トレーニング例の周辺に,その地区内のすべての入力に対してラベルが一定に維持されるような地区を作成することを提案する。 提案手法は,バニラ対人訓練と比較してロバスト性を高めつつ,他の防御に対する標準精度を向上させることが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T10:44:59Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。