論文の概要: FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers

• arxiv url: http://arxiv.org/abs/2401.01752v1
• Date: Wed, 3 Jan 2024 14:08:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 14:12:30.358533
• Title: FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers
• Title（参考訳）: FullLoRA-AT:事前学習型視覚変換器のロバスト性向上
• Authors: Zheng Yuan, Jie Zhang, Shiguang Shan
• Abstract要約: Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 本稿では,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRA-ATフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 61.48709409150777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the Vision Transformer (ViT) model has gradually become mainstream in various computer vision tasks, and the robustness of the model has received increasing attention. However, existing large models tend to prioritize performance during training, potentially neglecting the robustness, which may lead to serious security concerns. In this paper, we establish a new challenge: exploring how to use a small number of additional parameters for adversarial finetuning to quickly and effectively enhance the adversarial robustness of a standardly trained model. To address this challenge, we develop the novel LNLoRA module, incorporating a learnable layer normalization before the conventional LoRA module, which helps mitigate magnitude differences in parameters between the adversarial and standard training paradigms. Furthermore, we propose the FullLoRA-AT framework by integrating the learnable LNLoRA modules into all key components of ViT-based models while keeping the pretrained model frozen, which can significantly improve the model robustness via adversarial finetuning in a parameter-efficient manner. Extensive experiments on CIFAR-10, CIFAR-100, and Imagenette demonstrate the superiority of our proposed FullLoRA-AT framework. It achieves comparable robustness with full finetuning while only requiring about 5% of the learnable parameters. This also effectively addresses concerns regarding extra model storage space and enormous training time caused by adversarial finetuning.
• Abstract（参考訳）: 近年、視覚変換器(ViT)モデルは様々なコンピュータビジョンタスクにおいて徐々に主流となり、モデルの堅牢性はますます注目されている。 しかしながら、既存の大規模モデルは、トレーニング中のパフォーマンスを優先する傾向があり、堅牢性を無視し、重大なセキュリティ上の懸念を引き起こす可能性がある。 本稿では,新たな課題を提起する: 標準的に訓練されたモデルの敵のロバスト性を高めるために,敵の微調整に少数の追加パラメータをどのように利用するかを検討する。 この課題に対処するために,従来のloraモジュールよりも前に学習可能な層正規化を組み込んだ,新しいlnloraモジュールを開発した。 さらに,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントすべてに統合し,事前学習したモデルを凍結したままにすることで,パラメータ効率のよい逆ファインタニングによりモデルロバスト性を大幅に向上させることにより,FullLoRA-ATフレームワークを提案する。 CIFAR-10, CIFAR-100, Imagenetteの大規模実験により提案したFullLoRA-ATフレームワークの優位性を示した。 学習可能なパラメータの約5%しか必要とせず、完全な微調整で同等の堅牢性を実現する。 これはまた、余分なモデル記憶空間と、敵の微調整による巨大な訓練時間に関する懸念にも効果的に対処する。

関連論文リスト

• Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models [9.762046320216005]
  大きな視覚モデルは敵の例に弱いことが分かっており、敵の強靭性を高める必要性を強調している。 近年の研究では、大規模視覚モデルにおけるローランク適応(LoRA)の逆調整のような堅牢な微調整法が提案されているが、完全なパラメータ逆微調整の精度の一致に苦慮している。 本稿では,モデルロバスト性を効率的にかつ効率的に向上するために,異なる手法間で共有された防御知識を活用するハイパー対戦チューニング(HyperAT)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:05:01Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• ADAPT to Robustify Prompt Tuning Vision Transformers [4.462011758348954]
  本稿では,アダプティブ・チューニング・パラダイムにおける適応的対角訓練を行うための新しいフレームワークであるADAPTを紹介する。 提案手法は,パラメータの1%だけを調整し,フルモデルファインチューニングによる40%のSOTAロバストネスの競合ロバスト精度を実現する。
  論文  参考訳（メタデータ） (2024-03-19T23:13:40Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning [19.91117174405902]
  ディープニューラルネットワークは敵の例に影響を受けやすく、重要なアプリケーションにおいて重大なセキュリティリスクを生じさせる。 本稿では,対向的強靭性を損なうことなく一般化を促進する新しい手法であるロバストネスクリティカルファインタニング(RiFT)を提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:02:34Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。