論文の概要: Self-Calibrated Consistency can Fight Back for Adversarial Robustness in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2510.22785v1
• Date: Sun, 26 Oct 2025 18:37:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.366683
• Title: Self-Calibrated Consistency can Fight Back for Adversarial Robustness in Vision-Language Models
• Title（参考訳）: 自己校正一貫性は視覚言語モデルにおける対向ロバスト性に逆戻りできる
• Authors: Jiaxiang Liu, Jiawei Du, Xiao Liu, Prayag Tiwari, Mingkun Xu,
• Abstract要約: 自己キャリブレーション・コンシスタンシー(Self-Calibrated Consistency)は、敵の攻撃に対する効果的なテストタイム防衛である。 SCCは精度を維持しながら、CLIPのゼロショットロバスト性を一貫して改善する。 これらの知見は、CLIPから逆向きに堅牢なパラダイムを確立する大きな可能性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 31.920092341939593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained vision-language models (VLMs) such as CLIP have demonstrated strong zero-shot capabilities across diverse domains, yet remain highly vulnerable to adversarial perturbations that disrupt image-text alignment and compromise reliability. Existing defenses typically rely on adversarial fine-tuning with labeled data, limiting their applicability in zero-shot settings. In this work, we identify two key weaknesses of current CLIP adversarial attacks -- lack of semantic guidance and vulnerability to view variations -- collectively termed semantic and viewpoint fragility. To address these challenges, we propose Self-Calibrated Consistency (SCC), an effective test-time defense. SCC consists of two complementary modules: Semantic consistency, which leverages soft pseudo-labels from counterattack warm-up and multi-view predictions to regularize cross-modal alignment and separate the target embedding from confusable negatives; and Spatial consistency, aligning perturbed visual predictions via augmented views to stabilize inference under adversarial perturbations. Together, these modules form a plug-and-play inference strategy. Extensive experiments on 22 benchmarks under diverse attack settings show that SCC consistently improves the zero-shot robustness of CLIP while maintaining accuracy, and can be seamlessly integrated with other VLMs for further gains. These findings highlight the great potential of establishing an adversarially robust paradigm from CLIP, with implications extending to broader vision-language domains such as BioMedCLIP.
• Abstract（参考訳）: CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な領域にわたって強力なゼロショット機能を示してきたが、画像テキストのアライメントを妨害し、信頼性を損なう敵の摂動に対して非常に脆弱である。 既存の防御は、ラベル付きデータによる敵の微調整に依存しており、ゼロショット設定での適用性を制限している。 本研究では,現在のCLIP攻撃の2つの重大な弱点,意味的ガイダンスの欠如,バリエーションを見るための脆弱性 – を総合的に意味的および視点的脆弱性(semantic and perspective fragility)と呼んでいる。 これらの課題に対処するため,実効的なテスト時間防衛である自己校正一貫性(SCC)を提案する。 SCCは2つの相補的なモジュールから構成される: セマンティック一貫性(Semantic consistency)は、対向的なウォームアップとマルチビュー予測からソフトな擬似ラベルを活用して、クロスモーダルなアライメントを規則化し、ターゲットの埋め込みを不良な負から分離する。 これらのモジュールは、プラグインとプレイの推論戦略を形成する。 多様な攻撃設定下での22のベンチマークの大規模な実験により、SCCは精度を維持しながらCLIPのゼロショットロバスト性を一貫して改善し、他のVLMとシームレスに統合してさらなる利益を得ることが可能であることが示されている。 これらの知見は、CLIPから逆向きに堅牢なパラダイムを確立する大きな可能性を浮き彫りにしており、BioMedCLIPのようなより広いビジョン言語ドメインにも及んでいる。

関連論文リスト

• Harnessing Consistency for Robust Test-Time LLM Ensemble [88.55393815158608]
  CoREは、堅牢なLLMアンサンブルにモデル一貫性を利用するプラグイン・アンド・プレイ技術である。 トークンレベルの一貫性は、ダウンウェイト不確実なトークンにローパスフィルタを適用することで、きめ細かい不一致を捕捉する。 モデルレベルの一貫性は、自己自信の高いモデル出力を促進することで、グローバルな合意をモデル化する。
  論文  参考訳（メタデータ） (2025-10-12T04:18:45Z)
• Zero-Shot Robustness of Vision Language Models Via Confidence-Aware Weighting [1.5268922363885407]
  視覚言語モデルにおけるゼロショットロバスト性を高めるために,信頼性を考慮した重み付け(CAW)を提案する。 CAWは,(1)不確実な敵の事例を優先する信頼と認識の喪失と,(2)意味的整合性を維持する特徴的アラインメント正規化の2つの構成要素から構成される。
  論文  参考訳（メタデータ） (2025-10-03T11:36:02Z)
• Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization [72.30168853571216]
  マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。 CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
  論文  参考訳（メタデータ） (2025-09-26T04:32:26Z)
• DyCON: Dynamic Uncertainty-aware Consistency and Contrastive Learning for Semi-supervised Medical Image Segmentation [18.102129546708905]
  動的不確実性を考慮した一貫性とコントラスト学習フレームワークであるDyCONを提案する。 UnCLは、各ボクセルの一貫性損失への寄与を動的に重み付けすることで、グローバルな一貫性を強制する。 FeCLは、二重焦点機構を導入することにより、不均衡領域における局所的特徴識別を強化する。
  論文  参考訳（メタデータ） (2025-04-06T17:50:22Z)
• CeTAD: Towards Certified Toxicity-Aware Distance in Vision Language Models [16.5022773312661]
  本稿では,ジェイルブレイク攻撃に対する大規模視覚言語モデルの保護を目的とした,普遍的な認証防衛フレームワークを提案する。 まず、悪意のある応答と意図した応答のセマンティックな差異を定量化する新しい距離尺度を提案する。 そして, ランダム化スムーシングを用いて, 形式的堅牢性を保証するための回帰認証手法を考案する。
  論文  参考訳（メタデータ） (2025-03-08T17:33:55Z)
• CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP [54.660471826755234]
  分類損失を最大化しようとする悪意のある摂動が、誤った画像に繋がることを示す。 本稿では,CLIPの事前学習したビジョンエンコーダを用いて,推論中の敵画像に対する攻撃を行い,ロバスト性を実現することを提案する。 私たちのパラダイムはシンプルで、トレーニング不要で、テスト時にCLIPを敵攻撃から防御する最初の方法を提供します。
  論文  参考訳（メタデータ） (2025-03-05T15:51:59Z)
• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。