論文の概要: Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency

• arxiv url: http://arxiv.org/abs/2408.10204v2
• Date: Fri, 30 Aug 2024 20:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 16:42:00.386420
• Title: Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency
• Title（参考訳）: パラメータ効率による性能向上のためのCLAT(Critity Leveraged Adversarial Training)
• Authors: Bhavna Gopal, Huanrui Yang, Jingyang Zhang, Mark Horton, Yiran Chen,
• Abstract要約: CLATは、パラメータ効率を敵のトレーニングプロセスに導入し、クリーンな精度と敵の堅牢性の両方を改善した。 既存の対数訓練法に応用でき、トレーニング可能なパラメータの数を約95%削減できる。
• 参考スコア（独自算出の注目度）: 15.211462468655329
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adversarial training enhances neural network robustness but suffers from a tendency to overfit and increased generalization errors on clean data. This work introduces CLAT, an innovative approach that mitigates adversarial overfitting by introducing parameter efficiency into the adversarial training process, improving both clean accuracy and adversarial robustness. Instead of tuning the entire model, CLAT identifies and fine-tunes robustness-critical layers - those predominantly learning non-robust features - while freezing the remaining model to enhance robustness. It employs dynamic critical layer selection to adapt to changes in layer criticality throughout the fine-tuning process. Empirically, CLAT can be applied on top of existing adversarial training methods, significantly reduces the number of trainable parameters by approximately 95%, and achieves more than a 2% improvement in adversarial robustness compared to baseline methods.
• Abstract（参考訳）: 敵対的トレーニングはニューラルネットワークの堅牢性を高めるが、過度に適合する傾向にあり、クリーンデータに対する一般化エラーが増大する。 CLATは、パラメータ効率を学習プロセスに導入することで、敵のオーバーフィッティングを軽減し、クリーンな精度と敵のロバスト性の両方を改善した革新的なアプローチである。 CLATは、モデル全体をチューニングする代わりに、ロバストでない特徴を主に学習するような、ロバスト性クリティカルな層を特定し、その一方で、残りのモデルを凍結してロバスト性を高める。 動的臨界層選択を使用して、微調整プロセス全体を通して層臨界度の変化に適応する。 実験的に、CLATは既存の対向訓練法の上に適用でき、トレーニング可能なパラメータの数を約95%削減し、ベースライン法と比較して対向的ロバスト性は2%以上向上する。

関連論文リスト

• Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
  対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。 従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。 本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T14:25:12Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Learning Sample Reweighting for Accuracy and Adversarial Robustness [15.591611864928659]
  本稿では,クラス条件付きマージンの概念に基づいて,個々のトレーニングサンプルによる損失の軽減を学習する,新たな逆トレーニングフレームワークを提案する。 我々の手法は、関連する手法や最先端のベースラインと比較して、クリーンかつ堅牢な精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-10-20T18:25:11Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Robust Learning via Persistency of Excitation [4.674053902991301]
  勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。 極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。 我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
  論文  参考訳（メタデータ） (2021-06-03T18:49:05Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
  そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。 提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-17T06:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。