論文の概要: Textual Response-Aware Guidance for Zero-Shot Adversarial Robustness of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.40309v1
• Date: Thu, 29 Oct 2026 15:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 07:41:33.773598
• Title: Textual Response-Aware Guidance for Zero-Shot Adversarial Robustness of Vision-Language Models
• Title（参考訳）: 視覚言語モデルのゼロショット対向ロバスト性に対するテキスト応答認識誘導
• Abstract要約: 視覚言語モデルは強力なゼロショット一般化を示すが、敵の攻撃に弱いままである。 既存の敵対的微調整法では、事前訓練されたモデルガイダンスを用いて画像テキストアライメントを維持する。 我々は,事前学習した画像-テキスト関係の保存を支援するために,テキスト応答認識ガイダンス(TRAG)を提案する。
• 参考スコア（独自算出の注目度）: 13.954913305938133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) exhibit strong zero-shot generalization but remain vulnerable to adversarial attacks. Existing adversarial fine-tuning methods often use pre-trained model guidance to preserve image--text alignment while improving robustness. Our analysis of visual representation drift reveals complementary limitations of two representative forms of guidance. Matching visual features provides broad coverage by constraining all directions equally, but lacks semantic emphasis. Matching prediction distributions prioritizes semantically relevant directions, but remains limited by the candidate texts and prediction probabilities. These limitations can hinder preservation of pre-trained image--text relationships and degrade zero-shot performance. To address these issues, we propose Textual Response-Aware Guidance (TRAG), which constrains visual representation drift using the pre-trained text encoder's responses to local variations in input embeddings. Specifically, TRAG constructs anchor-level constraints from the response directions and magnitudes around semantic anchors, then aggregates them using pre-trained image--anchor relevance, yielding an image-adaptive constraint. Extensive experiments across architectures and tasks demonstrate state-of-the-art clean and robust performance. Further analysis shows that TRAG helps preserve pre-trained image--text relationships.
• Abstract（参考訳）: 視覚言語モデル(VLM)は強力なゼロショット一般化を示すが、敵攻撃には弱い。 既存の敵対的微調整法は、しばしば、頑健性を改善しつつ画像テキストアライメントを維持するために、事前訓練されたモデルガイダンスを使用する。 視覚的表現のドリフトを解析した結果,2つの代表的なガイダンスの相補的限界が明らかとなった。 視覚的特徴のマッチングは、すべての方向を均等に制限することで広範なカバレッジを提供するが、セマンティックな強調は欠く。 一致予測分布は意味論的に関係する方向を優先するが、候補テキストと予測確率によって制限される。 これらの制限は、事前訓練された画像の保存を妨げる可能性がある。 これらの問題に対処するため,テキストエンコーダの応答を入力埋め込みの局所的変動に制限するテキスト応答認識誘導(TRAG)を提案する。 具体的には、TRAGは、セマンティックアンカー周辺の応答方向と大きさからアンカーレベルの制約を構築し、事前訓練されたイメージ-アンカー関係を使ってそれらを集約し、画像適応的制約を生成する。 アーキテクチャやタスクにわたる大規模な実験は、最先端のクリーンで堅牢なパフォーマンスを示している。 さらに解析したところ、TRAGは事前訓練された画像-テキスト関係の保存に役立つことがわかった。

関連論文リスト

• AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models [12.774216017720642]
  事前学習された視覚言語モデル(VLM)は強力なゼロショット一般化を示すが、敵の摂動に弱いままである。 本稿では,アライメントガイド付ファインチューニング(AGFT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-31T08:17:27Z)
• Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark [25.298039211481044]
  テキスト・エアリアル・パーソナリティ検索は、目撃者の記述からUAVが捉えた画像のターゲットを特定することを目的としている。 UAV撮像画像は、視角や飛行高度の急激な変化により、劣化した視覚情報に悩まされることが多い。 本稿では, ファジィアライメントネットワークを新たに提案し, 高精度な粒度アライメントを実現する。
  論文  参考訳（メタデータ） (2026-03-21T09:02:44Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Prompt-driven Transferable Adversarial Attack on Person Re-Identification with Attribute-aware Textual Inversion [17.18411620606476]
  本稿では,歩行者画像の微細な意味的特徴を損なうために,Attribute-aware Prompt Attack (AP-Attack)を導入する。 AP-Attackは最先端の転送可能性を実現し、従来の手法よりも22.9%上回った。
  論文  参考訳（メタデータ） (2025-02-27T02:32:58Z)
• Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
  身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-09T15:39:54Z)
• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Weakly Supervised Vision-and-Language Pre-training with Relative Representations [76.63610760577214]
  弱教師付き視覚・言語事前学習は、事前学習のデータコストを効果的に削減することを示した。 現在の手法では、イメージのローカル記述(オブジェクトタグ)のみをクロスモーダルアンカーとして使用し、事前トレーニングのための弱い整列されたイメージテキストペアを構築する。
  論文  参考訳（メタデータ） (2023-05-24T18:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。