論文の概要: Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Adversarial Scheduling
- arxiv url: http://arxiv.org/abs/2509.23325v1
- Date: Sat, 27 Sep 2025 14:20:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.163151
- Title: Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Adversarial Scheduling
- Title（参考訳）: 非ロバスト事前学習モデルからのロバスト微調整--逆数スケジューリングによる最適下方移動の緩和
- Authors: Jonas Ngnawé, Maxime Heuillet, Sabyasachi Sahoo, Yann Pequignot, Ola Ahmad, Audrey Durand, Frédéric Precioso, Christian Gagné,
- Abstract要約: 頑健な目的を持った微調整された非ローバストモデルでは性能が低下する可能性があることを示す。
本稿では,最適な移動を促進するトレーニングで使用される摂動強度のスケジュールであるemphEpsilon-Schedulingを提案する。
- 参考スコア（独自算出の注目度）: 16.76595008196546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning pretrained models is a standard and effective workflow in modern machine learning. However, robust fine-tuning (RFT), which aims to simultaneously achieve adaptation to a downstream task and robustness to adversarial examples, remains challenging. Despite the abundance of non-robust pretrained models in open-source repositories, their potential for RFT is less understood. We address this knowledge gap by systematically examining RFT from such non-robust models. Our experiments reveal that fine-tuning non-robust models with a robust objective, even under small perturbations, can lead to poor performance, a phenomenon that we dub \emph{suboptimal transfer}. In challenging scenarios (eg, difficult tasks, high perturbation), the resulting performance can be so low that it may be considered a transfer failure. We find that fine-tuning using a robust objective impedes task adaptation at the beginning of training and eventually prevents optimal transfer. However, we propose a novel heuristic, \emph{Epsilon-Scheduling}, a schedule over perturbation strength used during training that promotes optimal transfer. Additionally, we introduce \emph{expected robustness}, a metric that captures performance across a range of perturbations, providing a more comprehensive evaluation of the accuracy-robustness trade-off for diverse models at test time. Extensive experiments on a wide range of configurations (six pretrained models and five datasets) show that \emph{Epsilon-Scheduling} successfully prevents \emph{suboptimal transfer} and consistently improves expected robustness.
- Abstract（参考訳）: 微調整事前訓練モデルは、現代の機械学習における標準的で効果的なワークフローである。
しかし、下流タスクへの適応と敵の例へのロバストネスを同時に達成することを目的としたロバスト微調整(RFT)は依然として困難である。
オープンソースリポジトリには、非ロバスト事前トレーニングモデルが多数存在するが、RFTの可能性はあまり理解されていない。
このような非破壊モデルからRFTを体系的に検討することにより、この知識ギャップに対処する。
実験の結果, 頑健な目標を持つ微調整型非破壊モデルでは, 小さな摂動下であっても, 性能が低下する可能性が示唆された。
挑戦的なシナリオ(例えば、難しいタスク、高い摂動)では、結果として生じるパフォーマンスが非常に低く、転送失敗と見なすことができる。
頑健な目標を用いた微調整は、訓練開始時のタスク適応を阻害し、最終的には最適な移動を防止する。
しかし,本研究では,最適な移動を促進するトレーニングで使用される摂動強度のスケジュールである,新しいヒューリスティックな「emph{Epsilon-Scheduling}」を提案する。
さらに、様々な摂動範囲のパフォーマンスを計測し、テスト時に様々なモデルに対する精度-難解性トレードオフをより包括的に評価する指標である 'emph{expected robustness} を導入する。
幅広い構成(6つの事前訓練されたモデルと5つのデータセット)に関する広範な実験により、 \emph{Epsilon-Scheduling} は \emph{suboptimal transfer} をうまく防止し、期待される堅牢性を継続的に改善することを示した。
関連論文リスト
- Robustness-Congruent Adversarial Training for Secure Machine Learning Model Updates [13.247291916609118]
新しく更新されたモデルが、前のモデルが犯していないミスを犯す可能性があることを示す。
パフォーマンスのレグレッションとしてユーザによって経験されるネガティブなフリップ。
特に、その敵の堅牢性を改善するためにモデルを更新するとき、以前はいくつかの入力に対する非効率な敵攻撃が成功しうる。
本稿では,この課題に対処するために,ロバストネス・コングロレント・逆行訓練という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-27T10:37:13Z) - Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。
本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。
5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
論文 参考訳（メタデータ） (2023-12-10T00:51:05Z) - Robust low-rank training via approximate orthonormal constraints [2.519906683279153]
低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。
その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
論文 参考訳（メタデータ） (2023-06-02T12:22:35Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - On Transfer of Adversarial Robustness from Pretraining to Downstream
Tasks [1.8900691517352295]
下流タスクにおける線形予測子のロバスト性は、その基盤となる表現のロバスト性によって制約できることを示す。
本結果は,適応後の信頼性向上のために,表現関数の要求を特徴付けるための最初のステップを提供する。
論文 参考訳（メタデータ） (2022-08-07T23:00:40Z) - Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。
トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。
特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
論文 参考訳（メタデータ） (2021-02-17T16:58:04Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。