論文の概要: ADAPT to Robustify Prompt Tuning Vision Transformers

• arxiv url: http://arxiv.org/abs/2403.13196v1
• Date: Tue, 19 Mar 2024 23:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 18:27:31.934516
• Title: ADAPT to Robustify Prompt Tuning Vision Transformers
• Title（参考訳）: ADAPTがプロンプト調整型視覚変換器をロバスト化
• Authors: Masih Eskandar, Tooba Imtiaz, Zifeng Wang, Jennifer Dy,
• Abstract要約: 本稿では,アダプティブ・チューニング・パラダイムにおける適応的対角訓練を行うための新しいフレームワークであるADAPTを紹介する。 提案手法は,パラメータの1%だけを調整し,フルモデルファインチューニングによる40%のSOTAロバストネスの競合ロバスト精度を実現する。
• 参考スコア（独自算出の注目度）: 4.462011758348954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of deep models, including Vision Transformers, is known to be vulnerable to adversarial attacks. Many existing defenses against these attacks, such as adversarial training, rely on full-model fine-tuning to induce robustness in the models. These defenses require storing a copy of the entire model, that can have billions of parameters, for each task. At the same time, parameter-efficient prompt tuning is used to adapt large transformer-based models to downstream tasks without the need to save large copies. In this paper, we examine parameter-efficient prompt tuning of Vision Transformers for downstream tasks under the lens of robustness. We show that previous adversarial defense methods, when applied to the prompt tuning paradigm, suffer from gradient obfuscation and are vulnerable to adaptive attacks. We introduce ADAPT, a novel framework for performing adaptive adversarial training in the prompt tuning paradigm. Our method achieves competitive robust accuracy of ~40% w.r.t. SOTA robustness methods using full-model fine-tuning, by tuning only ~1% of the number of parameters.
• Abstract（参考訳）: ビジョントランスフォーマーを含むディープモデルの性能は、敵の攻撃に弱いことが知られている。 これらの攻撃に対する多くの既存の防御、例えば敵の訓練は、モデルの堅牢性を誘導するためにフルモデルの微調整に依存している。 これらの防御は、タスク毎に数十億のパラメータを持つことができるモデル全体のコピーを保存する必要がある。 同時に、パラメータ効率のよいプロンプトチューニングを使用して、大きなコピーを保存することなく、大きなトランスフォーマーベースのモデルを下流タスクに適応させる。 本稿では、ロバスト性レンズ下での下流タスクに対するビジョントランスフォーマーのパラメータ効率向上プロンプトチューニングについて検討する。 本稿では,従来の対角防御手法を即時チューニングパラダイムに適用した場合,勾配難読化に悩まされ,適応攻撃に弱いことを示す。 本稿では,アダプティブ・チューニング・パラダイムにおける適応的対角訓練を行うための新しいフレームワークであるADAPTを紹介する。 提案手法は,パラメータの約1%をチューニングすることで,フルモデルファインチューニングを用いた約40%のSOTAロバストネスの競合ロバスト精度を実現する。

関連論文リスト

• FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers [61.48709409150777]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 本稿では,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRA-ATフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Consolidator: Mergeable Adapter with Grouped Connections for Visual Adaptation [53.835365470800916]
  視覚変換器の知識を効率よく効果的に伝達する方法を示す。 調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。 我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
  論文  参考訳（メタデータ） (2023-04-30T23:59:02Z)
• PVP: Pre-trained Visual Parameter-Efficient Tuning [29.05396521860764]
  大規模事前学習型トランスフォーマーは、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。 計算とストレージのコストが高いため、これらのモデルを下流タスクのために完全に微調整することは依然として非常に困難である。 事前学習型ビジュアルを提案する。 効率的な(PVP)チューニングフレームワーク - 最初にパラメータ効率のチューニングモジュールを事前トレーニングし、次に事前トレーニングされたモジュールを活用する。
  論文  参考訳（メタデータ） (2023-04-26T15:55:29Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)
• Visual Prompt Tuning [74.5309408185523]
  本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。 VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
  論文  参考訳（メタデータ） (2022-03-23T01:17:16Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。