論文の概要: TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.17577v1
• Date: Sun, 17 May 2026 18:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.381088
• Title: TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models
• Title（参考訳）: TAME:ビジョンランゲージモデルのためのMixture-of-Expertsによるテスト時間逆ピッチチューニング
• Authors: Xin Wang, Yixu Wang, Jiaming Zhang, Ruofan Wang, Jiaqi Yu, Kai Chen, Jingjing Chen, Xingjun Ma, Yu-Gang Jiang,
• Abstract要約: 大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。 ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
• 参考スコア（独自算出の注目度）: 76.92890872338235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained Vision-Language models (VLMs), such as CLIP, exhibit strong zero-shot generalization, yet remain highly vulnerable to imperceptible adversarial perturbations, raising serious safety concerns for open-world deployment. To enhance robustness without requiring downstream task-specific retraining, we propose TAME, a novel test-time defense. Building upon our prior Test-Time Adversarial Prompt Tuning (TAPT), TAME introduces an architectural reformulation by replacing TAPT's single adaptive prompt with an input-conditioned Mixture-of-Experts (MoE) framework, enabling more expressive and adaptive defense. Specifically, TAME maintains a bank of learnable expert prompts and employs an input-dependent routing mechanism to aggregate a customized prompt mixture for each unlabeled test sample at inference time. This test-time defense mechanism is driven by three unsupervised objectives: (1) multi-view prediction entropy minimization, (2) layer-wise alignment of visual token statistics to precomputed clean and adversarial reference distributions, and (3) MoE regularization for balanced expert utilization and prompt diversity. We evaluated TAME on 11 benchmark datasets, including ImageNet and 10 additional zero-shot datasets. The results show that TAME improves the zero-shot adversarial robustness of the original CLIP by at least 49.1% under AutoAttack while largely preserving generalization on clean samples. TAME also consistently outperforms existing adversarial prompt tuning methods across multiple prompt designs, yielding an average robustness gain of at least 30.2%.
• Abstract（参考訳）: CLIPのような大規模事前訓練型ビジョンランゲージモデル(VLM)は、ゼロショットの強力な一般化を示すが、認識不能な敵の摂動に対して非常に脆弱であり、オープンワールド展開に対する深刻な安全上の懸念を生じさせる。 ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。 TAMEは、これまでのTest-Time Adversarial Prompt Tuning (TAPT)に基づいて、TAPTの単一適応プロンプトを入力条件のMixture-of-Experts (MoE)フレームワークに置き換え、より表現力が高く適応的な防御を可能にするアーキテクチャ改革を導入しています。 具体的には、学習可能なエキスパートプロンプトのバンクを保持し、入力依存のルーティング機構を使用して、未ラベルのテストサンプル毎に推論時に、カスタマイズされたプロンプトミックスを集約する。 このテストタイム防衛機構は,(1)多視点予測エントロピー最小化,(2)事前計算されたクリーンおよび逆参照分布に対する視覚トークン統計量の階層的アライメント,(3)専門家のバランスの取れた利用と多様性の促進のためのMoE正規化の3つの目的によって駆動される。 我々は、ImageNetと追加のゼロショットデータセット10を含む11のベンチマークデータセットでTAMEを評価した。 以上の結果から,TAMEは従来のCLIPのゼロショット対向ロバスト性を,AutoAttackの下で少なくとも49.1%改善し,クリーンサンプルの一般化を保っていることがわかった。 また、TAMEは複数のプロンプト設計において既存の敵のプロンプトチューニング手法を常に上回り、最低でも30.2%のロバスト性向上を実現している。

関連論文リスト

• DynT2I-Eval: A Dynamic Evaluation Framework for Text-to-Image Models [78.62380562116135]
  テキスト・トゥ・イメージ(T2I)モデルのための完全に自動化された動的評価フレームワークであるDynT2I-Evalを提案する。 長い形式の記述から構造化された視覚意味空間を構築し、プロンプトを制御可能な次元に分解する。 DynT2I-Evalは、テキストアライメント、知覚品質、美学のモデル性能を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:53:51Z)
• Contrastive Spectral Rectification: Test-Time Defense towards Zero-shot Adversarial Robustness of CLIP [68.44229678548298]
  コントラストスペクトル整流(Contrastive Spectral Rectification, CSR)は、敵の例に対する効率的な試験時間防御である。 CSRはSOTAを18.1%上回り、AutoAttackに勝っている。 CSRは様々な視覚的タスクに幅広い適用性を示す。
  論文  参考訳（メタデータ） (2026-01-27T05:24:45Z)
• TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models [32.85951917559796]
  本稿では, 対向検出を行う軽量な防御フレームワークであるTest-Time Padding (TTP) を提案する。 TTPは最先端のテスト時間防衛を一貫して上回り、クリーンな精度を損なうことなく敵の堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-12-18T13:34:14Z)
• Test-Time Consistency in Vision Language Models [26.475993408532304]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 MM-R3のような最近のベンチマークでは、最先端のVLMでさえ意味論的に等価な入力にまたがって分岐予測をもたらすことが強調されている。 教師付き再学習なしにセマンティックな一貫性を高める,シンプルで効果的なテスト時間一貫性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-27T17:09:44Z)
• Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning [1.3680468021400563]
  ヴィジュアル言語モデル(VLM)の核となる課題は、ほとんどない PromptFuseNLは、予測的プロンプトチューニングと2分岐正負の学習を組み合わせることで、数ショットの一般化を向上する統合フレームワークである。
  論文  参考訳（メタデータ） (2025-05-16T23:39:34Z)
• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• Batch-in-Batch: a new adversarial training framework for initial perturbation and sample selection [9.241737058291823]
  適応学習法は, 単純な一様分布から, 対向サンプルに対する独立な初期摂動を生成する。 モデルを強化するため,Batch-in-Batchと呼ばれるシンプルで効果的なトレーニングフレームワークを提案する。 BBフレームワーク内でトレーニングされたモデルは、様々な対角的設定において、常に高い対角的精度を有することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:34:43Z)
• Interactive Test-Time Adaptation with Reliable Spatial-Temporal Voxels for Multi-Modal Segmentation [56.70910056845503]
  マルチモーダルテストタイム適応(MM-TTA)は、補完的なマルチモーダル入力をオンライン形式で活用することにより、ラベルのないターゲットドメインにモデルを適応させる。 従来のMM-TTA法は, 時間的不整合によるフレームワイドの不安定な予測と, 信頼度誘導の仮定に反する不正確な予測の2つの大きな限界に悩まされていた。 Latte++は、より情報的な幾何学的対応によって不安定なフレーム単位の予測をより抑制し、対話型テスト時間適応(ITTA)は、努力を伴わない人間のフィードバックを促進するフレキシブルなアドオンである。
  論文  参考訳（メタデータ） (2024-03-11T06:56:08Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。