論文の概要: Learning What Not to Learn: Adversarial Disentangled Prompt Tuning for Robust Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.17306v1
• Date: Tue, 18 Aug 2026 03:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.191577
• Title: Learning What Not to Learn: Adversarial Disentangled Prompt Tuning for Robust Vision-Language Models
• Title（参考訳）: 学習すべきでないこと:ロバスト・ビジョン・ランゲージ・モデルのための対角距離プロンプトチューニング
• Abstract要約: 本稿では,強力なプロンプトチューニングフレームワークとしてADAPT(Adversarial Disentangled Prompt Tuning)を提案する。 擬似ロバスト特徴からロバストな特徴を引き離すことにより、ADAPTはロバストな一般化オーバーフィッティングを効果的に防止する。 実験的に広範な実験により、ADAPTは未確認クラスにおけるターゲットプロンプトの堅牢性を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 15.218496545665692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While adversarial prompt tuning can enhance robustness of vision-language models efficiently, we find that existing methods aggravate robust generalization overfitting on seen classes, leading to a rapid degradation in performance against adversarial examples of unseen classes as training progresses. We empirically identify that this degradation stems from the tendency of the model to learn pseudo-robust features (i.e., non-generalizable shortcuts). To mitigate this, we propose ADAPT (Adversarial Disentangled Prompt Tuning), a robust prompt tuning framework following the philosophy of ``Learning What Not to Learn''. Specifically, ADAPT uses a dual-prompt mechanism with a target prompt and a pool of decoy prompts. During training, the decoy prompts are guided to entrap diverse pseudo-robust features, while the target prompt is constrained to be orthogonal to the decoys in the embedding space to learn robust features. By disentangling the robust features from the pseudo-robust features, ADAPT effectively prevents robust generalization overfitting. We further provide an analysis showing that the orthogonal loss bounds the effect of shifts in pseudo-robust features on unseen classes, yielding a testing error guarantee. Empirically, extensive experiments demonstrate that ADAPT substantially improves the robustness of the target prompt on unseen classes. The code is available at https://github.com/cheny02/ADAPT-ACMMM2026.
• Abstract（参考訳）: 既存手法は,視覚言語モデルの強靭性を効率的に向上させることができるが,既存の手法は,目に見えるクラスに過度に適合するロバストな一般化を増大させ,学習が進むにつれて,未知のクラスの逆例に対する性能の急激な低下を招いた。 この劣化は、擬似ロバストな特徴(すなわち、一般化不可能なショートカット)を学習するモデルの傾向に起因していると実証的に確認する。 これを軽減するために, ADAPT(Adversarial Disentangled Prompt Tuning)を提案する。 具体的には、ADAPTはターゲットプロンプトとデコイプロンプトのプールを備えたデュアルプロンプト機構を使用する。 トレーニング中、デコイプロンプトは様々な擬似ローバスト特徴を巻き込むように誘導され、ターゲットプロンプトは、埋め込み空間のデコイに直交して堅牢な特徴を学習するように拘束される。 擬似ロバスト特徴からロバストな特徴を引き離すことにより、ADAPTはロバストな一般化オーバーフィッティングを効果的に防止する。 さらに、直交損失は、擬似ローバスト特徴のシフトが未確認クラスに与える影響を制限し、テストエラーの保証が得られることを示す。 実験的に広範な実験により、ADAPTは未確認クラスにおけるターゲットプロンプトの堅牢性を大幅に改善することが示された。 コードはhttps://github.com/cheny02/ADAPT-ACMMM2026で公開されている。

関連論文リスト

• Training Prompt Matters: State-Adaptive Optimization for Robust Fine-Tuning [14.317667911880482]
  パラフレーズのプロンプトは, 忘れることや一般化に大きく異なる影響をもたらすことを示す。 これらの影響はタスク間で正に相関しており、優れたプロンプトの存在が常により良いパフォーマンスをもたらすことを示している。 静的入力から動的状態適応変数へタスク定式化をシフトする軽量かつ効果的なトレーニング戦略である状態適応型プロンプト最適化(SAPO)を導入する。
  論文  参考訳（メタデータ） (2026-06-01T09:31:28Z)
• The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
  複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。 提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。 本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
  論文  参考訳（メタデータ） (2026-03-11T19:51:33Z)
• Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment [6.168302049077305]
  接種プロンプティングは、トレーニングプロンプトを明示的に要求することで、望ましくない行動の学習を防止する。 IPは所望の能力の学習を大幅に減らすことなく、望ましくない行動の学習を減らす。
  論文  参考訳（メタデータ） (2025-10-06T17:02:59Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• Mixture of Experts Meets Prompt-Based Continual Learning [23.376460019465235]
  本稿では、連続学習におけるそのような利点をいかにもたらすかを明らかにするための理論的分析を行う。 我々は,新しいタスク固有の専門家の追加として,プレフィックスチューニングに関する新しい視点を提供し,新しいゲーティング機構の設計を刺激する。 NoRGaの有効性は、様々なベンチマークや事前学習パラダイムで理論的にも経験的にも裏付けられている。
  論文  参考訳（メタデータ） (2024-05-23T02:49:57Z)
• RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
  ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。 学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。 クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
  論文  参考訳（メタデータ） (2024-03-10T08:52:48Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
  UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。 このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。 我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
  論文  参考訳（メタデータ） (2024-01-02T03:37:11Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。