論文の概要: How to Enhance Downstream Adversarial Robustness (almost) without Touching the Pre-Trained Foundation Model?

• arxiv url: http://arxiv.org/abs/2504.10850v1
• Date: Tue, 15 Apr 2025 04:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:27.808738
• Title: How to Enhance Downstream Adversarial Robustness (almost) without Touching the Pre-Trained Foundation Model?
• Title（参考訳）: 事前学習基礎モデルに触ることなく、下流の敵対的ロバスト性(ほぼ)を高めるには?
• Authors: Meiqi Liu, Zhuoqun Huang, Yue Xing,
• Abstract要約: 本稿では,基礎モデルにデータを送る前に,データ前処理方式として頑健な自動エンコーダを提案する。 提案手法は,ロバストなオートエンコーダのトレーニングにおいて,基礎モデルへのアクセスをゼロにする。
• 参考スコア（独自算出の注目度）: 6.901549479897846
• License:
• Abstract: With the rise of powerful foundation models, a pre-training-fine-tuning paradigm becomes increasingly popular these days: A foundation model is pre-trained using a huge amount of data from various sources, and then the downstream users only need to fine-tune and adapt it to specific downstream tasks. However, due to the high computation complexity of adversarial training, it is not feasible to fine-tune the foundation model to improve its robustness on the downstream task. Observing the above challenge, we want to improve the downstream robustness without updating/accessing the weights in the foundation model. Inspired from existing literature in robustness inheritance (Kim et al., 2020), through theoretical investigation, we identify a close relationship between robust contrastive learning with the adversarial robustness of supervised learning. To further validate and utilize this theoretical insight, we design a simple-yet-effective robust auto-encoder as a data pre-processing method before feeding the data into the foundation model. The proposed approach has zero access to the foundation model when training the robust auto-encoder. Extensive experiments demonstrate the effectiveness of the proposed method in improving the robustness of downstream tasks, verifying the connection between the feature robustness (implied by small adversarial contrastive loss) and the robustness of the downstream task.
• Abstract（参考訳）: ファンデーションモデルは、さまざまなソースからの膨大なデータを使用して事前トレーニングされ、ダウンストリームユーザは、特定のダウンストリームタスクに微調整し、適応するだけでよい。 しかし、逆行訓練の計算複雑性が高いため、基礎モデルを微調整して下流タスクの堅牢性を向上させることは不可能である。 上記の課題を観察するために、ファンデーションモデルの重みを更新/アクセスすることなく、下流のロバスト性を改善したいと考えています。 従来の堅牢性継承の文献(Kim et al , 2020)から着想を得た理論的な研究により,頑健なコントラスト学習と教師付き学習の対角的堅牢性との密接な関係を同定した。 この理論的知見をさらに検証し活用するために,基礎モデルにデータを送り込む前に,データ前処理法として,単純かつ有効なロバストなオートエンコーダを設計する。 提案手法は,ロバストなオートエンコーダのトレーニングにおいて,基礎モデルへのアクセスをゼロにする。 大規模実験により, 下流タスクのロバスト性向上, 特徴ロバスト性(逆相関損失が小さい)と下流タスクのロバスト性との関係を検証した。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。