論文の概要: Proxy Robustness in Vision Language Models is Effortlessly Transferable

• arxiv url: http://arxiv.org/abs/2601.12865v1
• Date: Mon, 19 Jan 2026 09:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.829939
• Title: Proxy Robustness in Vision Language Models is Effortlessly Transferable
• Title（参考訳）: 視覚言語モデルにおけるプロキシロバスト性は不運に伝達可能である
• Authors: Xiaowei Fu, Fuxiang Huang, Lei Zhang,
• Abstract要約: 従来の画像分類作業において, 深層モデルの防御性向上のための重要な技術として, 蒸留による対向ロバスト性伝達が顕著に成功した。 バニラCLIP(敵の訓練無し)は、敵の例に対して固有の防御能力を示す。 我々はこれをプロキシ対逆ロバスト性として定義し、自然に不均一なプロキシ転送フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.390016978827163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a pivotal technique for improving the defense of deep models, adversarial robustness transfer via distillation has demonstrated remarkable success in conventional image classification tasks. However, this paradigm encounters critical challenges when applied to vision-language models (VLM) (e.g., CLIP): constructing adversarially robust teacher for large-scale multi-modal models demands prohibitively high computational resources. We bridge this gap by revealing an interesting phenomenon: vanilla CLIP (without adversarial training) exhibits intrinsic defensive capabilities against adversarial examples generated by another CLIP with different architectures. We formally define this as proxy adversarial robustness, and naturally propose a Heterogeneous Proxy Transfer (HPT) framework that establishes cross-architectural robustness distillation channels between CLIP variants, effortlessly enabling the VLM robustness transfer from proxy to target models. Yet, such proxy transfer paradigm easily induces severe overfitting, leading to a sharp degradation in zero-shot natural generalization. To resolve that, we design Generalization-Pivot Decoupling (GPD) by leveraging the difference in learning rate scheduling. This decouples the proxy transfer process into a generalization-anchored warm-up that maintains generalization and a generalization-pulled HPT that promotes adversarial robustness, to achieve an equilibrium between natural generalization and adversarial robustness. Extensive experiments on 15 zero-shot datasets demonstrate the effectiveness of our HPT-GPD method. The code is available at the website of github.com/fxw13/HPT-GPD.
• Abstract（参考訳）: 深層モデルの防御を重要視する技術として, 従来の画像分類作業において, 蒸留による対向ロバスト性伝達が顕著に成功した。 しかし、このパラダイムは、視覚言語モデル(例えばCLIP)に適用した場合に重要な課題に直面する。 vanilla CLIP(敵のトレーニングなしで)は、異なるアーキテクチャを持つ別のCLIPによって生成された敵の例に対して固有の防御能力を示します。 我々は、これをプロキシ対逆ロバスト性として定義し、自然にCLIP変異体間の相互構造的ロバスト性蒸留チャネルを確立し、プロキシからターゲットモデルへのVLMロバスト性移動を可能にするヘテロジニアスプロキシトランスファー(HPT)フレームワークを提案する。 しかし、そのようなプロキシ転送パラダイムは容易に過度なオーバーフィッティングを誘発し、ゼロショット自然一般化の急激な劣化をもたらす。 そこで我々は,学習率スケジューリングの違いを利用してGPD(Generalization-Pivot Decoupling)を設計する。 これにより、プロキシ転送プロセスを、一般化を維持する一般化アンコールドウォームアップと、逆向きの堅牢性を促進する一般化駆動HPTに分離し、自然な一般化と逆向きの堅牢性の間の平衡を達成する。 15のゼロショットデータセットに対する大規模な実験により,HPT-GPD法の有効性が示された。 コードはgithub.com/fxw13/HPT-GPDのウェブサイトで入手できる。

関連論文リスト

• Contrastive Weak-to-strong Generalization [50.5986177336082]
  本稿では,弱強一般化を推し進めるため,Contrastive Weak-to-Strong Generalization (ConG)を提案する。 このフレームワークは、より高品質なサンプルを生成するために、事前調整後の弱いモデル間の対照的な復号を用いる。
  論文  参考訳（メタデータ） (2025-10-09T07:37:23Z)
• Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning [54.26807397329468]
  この研究は、分散ディープラーニングシステムにおいて、これまで見過ごされていた脆弱性を探究する。 中間的特徴をインターセプトする敵は、依然として深刻な脅威となる可能性がある。 本稿では,分散環境に特化して設計されたエクスプロイト戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-09T20:09:00Z)
• X-Transfer Attacks: Towards Super Transferable Adversarial Attacks on CLIP [32.85582585781569]
  我々は,CLIPの普遍的敵対的脆弱性を明らかにする新しい攻撃方法である textbfX-Transfer を紹介する。 X-Transferは、様々なサンプル、タスク、ドメインにまたがる様々なCLIPエンコーダと下流のVLMを認識できるUniversal Adversarial Perturbationを生成する。
  論文  参考訳（メタデータ） (2025-05-08T11:59:13Z)
• R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning [69.72249695674665]
  視覚言語モデル(VLM)のためのロバストテスト時プロンプトチューニング(R-TPT)を提案する。 R-TPTは、推論段階における敵攻撃の影響を緩和する。 プラグアンドプレイの信頼性に基づく重み付きアンサンブル戦略を導入し,防御強化を図る。
  論文  参考訳（メタデータ） (2025-04-15T13:49:31Z)
• PB-UAP: Hybrid Universal Adversarial Attack For Image Segmentation [15.702469692874816]
  セグメンテーションモデル用に設計された新しいユニバーサル逆攻撃法を提案する。 提案手法は,最先端の手法よりも高い攻撃成功率を達成し,異なるモデル間で強い伝達性を示す。
  論文  参考訳（メタデータ） (2024-12-21T14:46:01Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。