論文の概要: Efficient Adversarial Training via Criticality-Aware Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.12780v1
• Date: Tue, 14 Apr 2026 14:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.491838
• Title: Efficient Adversarial Training via Criticality-Aware Fine-Tuning
• Title（参考訳）: 臨界対応ファインチューニングによる効果的な対人訓練
• Authors: Wenyun Li, Zheng Zhang, Dongmei Jiang, Yaowei Wang, Xiangyuan Lan,
• Abstract要約: criticality-Aware Adversarial Training (CAAT) は、リソースを最も堅牢でクリティカルなパラメータに適応的に割り当てる新しい手法である。 CAATは、そのパラメータの約6%を調整しながら、敵の堅牢性をわずか4.3%減少させる。 広く使われている3つの逆学習データセットの実験では、CAATはトレーニング可能なパラメータが少なくて最先端の軽量ATメソッドより優れていることが示されている。
• 参考スコア（独自算出の注目度）: 59.84340722595335
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision Transformer (ViT) models have achieved remarkable performance across various vision tasks, with scalability being a key advantage when applied to large datasets. This scalability enables ViT models to exhibit strong generalization capabilities. However, as the number of parameters increases, the robustness of ViT models to adversarial examples does not scale proportionally. Adversarial training (AT), one of the most effective methods for enhancing robustness, typically requires fine-tuning the entire model, leading to prohibitively high computational costs, especially for large ViT architectures. In this paper, we aim to robustly fine-tune only a small subset of parameters to achieve robustness comparable to standard AT. To accomplish this, we introduce Criticality-Aware Adversarial Training (CAAT), a novel method that adaptively allocates resources to the most robustness-critical parameters, fine-tuning only selected modules. Specifically, CAAT efficiently identifies parameters that contribute most to adversarial robustness. It then leverages parameter-efficient fine-tuning (PEFT) to robustly adjust weight matrices where the number of critical parameters exceeds a predefined threshold. CAAT exhibits favorable generalization when scaled to larger vision transformer architectures, potentially paving the way for adversarial training at scale, e.g, compared with plain adversarial training, CAAT incurs only a 4.3% decrease in adversarial robustness while tuning approximately 6% of its parameters. Extensive experiments on three widely used adversarial learning datasets demonstrate that CAAT outperforms state-of-the-art lightweight AT methods with fewer trainable parameters.
• Abstract（参考訳）: Vision Transformer (ViT) モデルは、さまざまなビジョンタスクにおいて、優れたパフォーマンスを実現している。 このスケーラビリティにより、ViTモデルは強力な一般化能力を示すことができる。 しかし、パラメータの数が増加するにつれて、ViTモデルの逆例に対する堅牢性は比例的にスケールしない。 強靭性を高めるための最も効果的な方法の1つは、通常、モデル全体を微調整する必要があるため、特に大規模なViTアーキテクチャにおいて、計算コストが極端に高い。 本稿では,標準ATに匹敵するロバスト性を実現するために,少数のパラメータのみを頑健に微調整することを目的とする。 そこで本研究では,最も頑健なパラメータにリソースを適応的に割り当てる手法であるCriticality-Aware Adversarial Training (CAAT)を紹介する。 特に、CAATは敵の強靭性に最も寄与するパラメータを効率的に識別する。 次に、パラメータ効率の微調整(PEFT)を活用し、臨界パラメータの数が予め定義された閾値を超えるような重み行列を堅牢に調整する。 CAATは、より大きな視覚トランスフォーマーアーキテクチャにスケールするときに好適な一般化を示し、例えば、通常の対人訓練と比較して、CAATは、約6%のパラメータをチューニングしながら、対人ロバストネスをわずか4.3%減少させる。 広く使われている3つの対向学習データセットに対する大規模な実験は、CAATがトレーニング可能なパラメータを少なくして最先端の軽量ATメソッドより優れていることを示した。

関連論文リスト

• An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models [22.63554774942836]
  本稿では,完全かつパラメータ効率の良いファインチューニングのギャップを埋めるために,MCFT(Momentum-Consistency Fine-Tuning)を提案する。 MCFTは、運動量ベースの一貫性制約を強制しながら、事前訓練されたエンコーダの一部を選択的に微調整する。 我々はMCFTを2つの変種で拡張する: 豊富なラベル付きデータを活用する半教師付きフレームワークと、計算効率を向上させるプルーニングベースの変種。
  論文  参考訳（メタデータ） (2026-03-24T21:28:37Z)
• LSP-ST: Ladder Shape-Biased Side-Tuning for Robust Infrared Small Target Detection [4.5138645285711165]
  LSP-ST(Ladder Shape-Biased Side-Tuning)を提案する。 学習可能なパラメータは4.72Mしかなく、LSP-STは複数の赤外線小ターゲット検出ベンチマークで最先端のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2025-04-20T04:12:38Z)
• FullLoRA: Efficiently Boosting the Robustness of Pretrained Vision Transformers [72.83770102062141]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Visual Prompt Tuning [74.5309408185523]
  本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。 VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
  論文  参考訳（メタデータ） (2022-03-23T01:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。