論文の概要: Sparse Fine-Tuning for Parameter-Efficient Adversarial Training

• arxiv url: http://arxiv.org/abs/2610.39455v1
• Date: Thu, 29 Oct 2026 06:27:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.467853
• Title: Sparse Fine-Tuning for Parameter-Efficient Adversarial Training
• Title（参考訳）: パラメータ効率の良い対数学習のためのスパースファインタニング
• Abstract要約: 敵の訓練(AT)は最も効果的な防御の1つだが、高いメモリコストと持続的なクリーンロバスト精度のトレードオフに悩まされている。 最近の研究は、パラメータ効率の良いLoRAのような微調整をATに導入しているが、この制約は顕著なロバスト性ギャップを生じさせる。 本稿では,逆勾配塩分を経由したロバストネス・クリティカルパラメータ(RCP)を同定し,これらのパラメータのみを更新し,残りのパラメータを凍結させてATを行うスパース・ディバイザ・ファインタニング(SAFT)を提案する。
• 参考スコア（独自算出の注目度）: 11.016842026332236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks achieve strong performance across many tasks but remain vulnerable to adversarial perturbations. Adversarial training (AT) is one of the most effective defenses, yet it suffers from high memory cost on large models and the persistent clean-robust accuracy trade-off. Recent work introduces parameter-efficient fine-tuning, such as LoRA, into AT, but this constraint induces a notable robustness gap relative to full-parameter AT. In this work, we revisit parameter-efficient adversarial fine-tuning from a parameter space perspective. Through gradient analysis, we find that adversarial optimization is highly concentrated on a small subset of parameters, which we call Robustness-Critical Parameters (RCPs), suggesting that robustness is encoded in a sparse subspace. Building on this observation, we propose Sparse Adversarial Fine-Tuning (SAFT), which identifies RCPs via adversarial gradient saliency and performs AT by updating only these parameters while freezing the rest. Across architectures and datasets, SAFT outperforms LoRA-based methods in both clean and robust accuracy with fewer trainable parameters, and approaches or surpasses full parameter AT in robustness while updating only about 5\% of parameters.
• Abstract（参考訳）: ディープニューラルネットワークは多くのタスクで高いパフォーマンスを達成するが、敵の摂動には弱いままである。 敵の訓練(AT)は最も効果的な防御の1つだが、大型モデルのメモリコストが高く、クリーン・ロバストな精度のトレードオフに悩まされている。 最近の研究は、LoRAのようなパラメータ効率のよい微調整をATに導入しているが、この制約はフルパラメータATと比較して顕著な堅牢性ギャップを生じさせる。 本研究では,パラメータ空間の観点から,パラメータ効率の高い逆方向の微調整について再検討する。 勾配解析により、逆最適化は、ロバストネス臨界パラメータ (RCP) と呼ばれるパラメータの小さな部分集合に非常に集中しており、ロバスト性はスパース部分空間に符号化されていることを示唆する。 そこで本研究では,Sparse Adversarial Fine-Tuning (SAFT) を提案する。 アーキテクチャやデータセット全体にわたって、SAFTは、トレーニング可能なパラメータが少なくてクリーンかつ堅牢な精度でLoRAベースのメソッドを上回り、パラメータの約5倍の更新をしながら、完全なパラメータATに近づいたり、超えたりしている。

関連論文リスト

• Efficient Adversarial Training via Criticality-Aware Fine-Tuning [59.84340722595335]
  criticality-Aware Adversarial Training (CAAT) は、リソースを最も堅牢でクリティカルなパラメータに適応的に割り当てる新しい手法である。 CAATは、そのパラメータの約6%を調整しながら、敵の堅牢性をわずか4.3%減少させる。 広く使われている3つの逆学習データセットの実験では、CAATはトレーニング可能なパラメータが少なくて最先端の軽量ATメソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-04-14T14:17:38Z)
• TR-PTS: Task-Relevant Parameter and Token Selection for Efficient Tuning [41.097430916756]
  大規模な事前学習モデルは視覚タスクにおいて顕著な性能を達成するが、高い計算と記憶コストのために微調整には実用的ではない。 タスク関連性を提案する。 そしてToken Selection (TR-PTS)は、計算効率と精度の両方を向上させるタスク駆動フレームワークである。 FGVCとVTAB-1kを含むベンチマークでTR-PTSを評価し,それぞれ3.40%,10.35%の微調整を達成した。
  論文  参考訳（メタデータ） (2025-07-30T17:47:13Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRA Meets Dropout under a Unified Framework [38.5176197615878]
  大規模言語モデル(LLM)は、多くのNLPアプリケーションにおいて重要な要素として現れている。 様々なドロップアウト手法は、当初は全てのパラメータを更新した完全な微調整のために設計されていたが、過剰なパラメータ冗長性に関連する過度な適合を緩和した。 我々は,これらの手法を,落下位置,構造パターン,補償基準に基づいてインスタンス化する総合的な調査のための統一的な枠組みを導入する。
  論文  参考訳（メタデータ） (2024-02-25T07:09:10Z)
• AutoLoRa: A Parameter-Free Automated Robust Fine-Tuning Framework [13.471022394534465]
  Robust Fine-Tuning (RFT) は、ダウンストリームアプリケーションにおける対角的ロバスト性を得るための低コストな戦略である。 本稿では,特徴抽出器 (FE) による対向的目的と自然的目的の両方を最適化することで,異なる勾配方向を導出する既存の RFT の問題を明らかにする。 本稿では,RFT を LoRa 分岐による自然目標の最適化と FE による敵目標の2つの異なる成分に分解するローランク (LoRa) 分岐を提案する。
  論文  参考訳（メタデータ） (2023-10-03T06:16:03Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。