論文の概要: Are Fast Methods Stable in Adversarially Robust Transfer Learning?

• arxiv url: http://arxiv.org/abs/2506.22602v1
• Date: Fri, 27 Jun 2025 19:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.480347
• Title: Are Fast Methods Stable in Adversarially Robust Transfer Learning?
• Title（参考訳）: 逆ロバスト移動学習における高速手法は安定か?
• Authors: Joshua C. Zhao, Saurabh Bagchi,
• Abstract要約: 我々は, 高速勾配符号法(FGSM)を頑健な伝達学習に適用し, 対向微調整の計算コストを向上する。 FGSMは、スクラッチからトレーニングする場合よりも、敵の微調整においてずっと安定している。 この安定性が複数のデータセットにまたがるパフォーマンスにどのように変換されるかを実証する。
• 参考スコア（独自算出の注目度）: 5.566459664476929
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning is often used to decrease the computational cost of model training, as fine-tuning a model allows a downstream task to leverage the features learned from the pre-training dataset and quickly adapt them to a new task. This is particularly useful for achieving adversarial robustness, as adversarially training models from scratch is very computationally expensive. However, high robustness in transfer learning still requires adversarial training during the fine-tuning phase, which requires up to an order of magnitude more time than standard fine-tuning. In this work, we revisit the use of the fast gradient sign method (FGSM) in robust transfer learning to improve the computational cost of adversarial fine-tuning. We surprisingly find that FGSM is much more stable in adversarial fine-tuning than when training from scratch. In particular, FGSM fine-tuning does not suffer from any issues with catastrophic overfitting at standard perturbation budgets of $\varepsilon=4$ or $\varepsilon=8$. This stability is further enhanced with parameter-efficient fine-tuning methods, where FGSM remains stable even up to $\varepsilon=32$ for linear probing. We demonstrate how this stability translates into performance across multiple datasets. Compared to fine-tuning with the more commonly used method of projected gradient descent (PGD), on average, FGSM only loses 0.39% and 1.39% test robustness for $\varepsilon=4$ and $\varepsilon=8$ while using $4\times$ less training time. Surprisingly, FGSM may not only be a significantly more efficient alternative to PGD in adversarially robust transfer learning but also a well-performing one.
• Abstract（参考訳）: モデルを微調整することで、ダウンストリームタスクはトレーニング前のデータセットから学んだ機能を活用でき、それらを新しいタスクに迅速に適応することができる。 これは、逆向きの堅牢性を達成するのに特に有用であり、スクラッチから逆向きのトレーニングモデルは非常に高価である。 しかし、トランスファーラーニングの堅牢性はいまだに、ファインチューニングフェーズにおける敵の訓練を必要としており、これは標準のファインチューニングよりも最大で1桁の時間を要する。 本研究では, 高速勾配符号法 (FGSM) を頑健な伝達学習に適用し, 対向微調整の計算コストを向上する。 FGSMは、スクラッチからトレーニングする時よりも、敵の微調整においてずっと安定している。 特に、FGSMファインチューニングは、標準的な摂動予算である$\varepsilon=4$または$\varepsilon=8$で破滅的なオーバーフィッティングに苦しむことはない。 この安定性はパラメータ効率のよい微調整法によりさらに強化され、FGSMは線形プローブに対して$\varepsilon=32$まで安定である。 この安定性が複数のデータセットにまたがるパフォーマンスにどのように変換されるかを実証する。 FGSMは、より一般的に使用される勾配降下法(PGD)と比較して、平均すると、$\varepsilon=4$と$\varepsilon=8$で0.39%と1.39%のテストロバスト性しか失わず、トレーニング時間を4\times$で減らしている。 驚くべきことに、FGSMは逆向きに頑健なトランスファー学習においてPGDよりもはるかに効率的な代替品であるだけでなく、優れた性能を持つものでもある。

関連論文リスト

• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Stability of Accuracy for the Training of DNNs Via the Uniform Doubling Condition [0.0]
  深層ニューラルネットワーク(DNN)の訓練における精度の安定性について検討する。 精度の安定性を達成するための目標は、ある時点で精度が高い場合、トレーニング全体を通して高い精度を維持することである。
  論文  参考訳（メタデータ） (2022-10-16T02:42:42Z)
• Stability Analysis and Generalization Bounds of Adversarial Training [31.50956388020211]
  逆機械学習では、ディープニューラルネットワークはトレーニングデータセット上の敵の例に適合するが、テストセット上での一般化は不十分である。 この現象はロバストオーバーフィッティングと呼ばれ、共通のデータセット上でニューラルネットを敵対的にトレーニングする場合に観察することができる。
  論文  参考訳（メタデータ） (2022-10-03T14:21:46Z)
• Not All Models Are Equal: Predicting Model Transferability in a Self-challenging Fisher Space [51.62131362670815]
  本稿では、トレーニング済みのディープニューラルネットワークのランク付けと、下流タスクにおける最も転送可能なニューラルネットワークのスクリーニングの問題に対処する。 textbfSelf-challenging textbfFisher textbfDiscriminant textbfAnalysis (textbfSFDA)と呼ばれる新しい転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2022-07-07T01:33:25Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。