論文の概要: Unifying Adversarially Robust Model Experts in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.27897v1
• Date: Thu, 30 Jul 2026 09:13:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.481512
• Title: Unifying Adversarially Robust Model Experts in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける逆ロバストモデルエキスパートの統合
• Authors: Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong,
• Abstract要約: 視覚言語モデル(VLM)は敵攻撃に対して脆弱である。 本稿では,協調的対向的微調整フレームワークであるCAREを提案する。 CAREは、トレーニング中に複数の専門家を維持し、埋め込み空間の調和を通じて知識交換を可能にし、学習した知識を単一の堅牢なモデルに統合する。
• 参考スコア（独自算出の注目度）: 33.73696500471732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs), such as CLIP, are vulnerable to adversarial attacks, posing a serious problem for real-life applications and deployment. Adversarial fine-tuning emerges as a prominent defense method; however, different fine-tuning strategies often produce specialized models with distinct robustness characteristics. Each fine-tuned model in turn thrives in some evaluation settings but falters on others, limiting their defensive capabilities. We refer to these specialized fine-tuned models as robust model experts and propose a collaborative adversarial fine-tuning framework: CARE - Collaborative Adversarial Robustness fine-tuning using Embedding alignment. CARE maintains multiple experts during training, enables knowledge exchange through embedding-space harmonization, and consolidates the learned knowledge into a single unified robust model. Experts benefit from one another while preserving their individual specializations, enabling the final model to inherit complementary robustness properties. In this paper, we demonstrate CARE on two different adversarial fine-tuning strategies with complementary robustness behaviors. Extensive experiments on classic image classification and downstream vision-language tasks display the effectiveness of our approach, with CARE being able to outperform individually learned model experts. The results suggest that collaborative learning across model experts is a promising direction for improving adversarial robustness.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は、敵の攻撃に対して脆弱であり、現実のアプリケーションやデプロイメントに深刻な問題を引き起こす。 敵の微調整は顕著な防御方法として現れるが、異なる微調整戦略は、しばしば異なる堅牢性特性を持つ特殊モデルを生成する。 それぞれの微調整されたモデルは、いくつかの評価設定で成長するが、他のモデルには干渉し、防御能力は制限される。 本稿では、これらの特殊な微調整モデルをロバストモデルエキスパートとして言及し、協調的な逆調整フレームワークを提案する: CARE - 埋め込みアライメントを用いた協調的逆調整ロバストネス微調整。 CAREは、トレーニング中に複数の専門家を維持し、埋め込み空間の調和を通じて知識交換を可能にし、学習した知識を単一の統一された堅牢なモデルに統合する。 専門家は個々の専門性を保ちながら互いの利益を享受し、最終的なモデルは相補的な堅牢性特性を継承することができる。 本稿では,相補的ロバスト性挙動を持つ2つの相反的微調整戦略について,CAREを実証する。 古典的な画像分類と下流の視覚言語タスクに関する大規模な実験は、我々のアプローチの有効性を示し、CAREは個別に学習したモデルエキスパートよりも優れています。 その結果, モデルエキスパート間の協調学習が, 対向的堅牢性向上の有望な方向であることを示唆した。

関連論文リスト

• CPC-VAR:Continual Personalized and Compositional Generation in Visual Autoregressive Models [69.9266117908314]
  VAR(Visual Autoregressive)モデルは、テキスト・ツー・イメージ生成の効率的なパラダイムとして登場した。 既存のVARベースのパーソナライズ方法は、進化するユーザ要求に対応できない。 VARモデルにおける連続的パーソナライズ生成に関する最初の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-05-19T12:18:15Z)
• Synergistic Weak-Strong Collaboration by Aligning Preferences [53.47675666475273]
  現在のLarge Language Models (LLMs) は、プロプライエタリな知識やドメイン固有の知識を必要とする特別なタスクに苦戦する一般的な推論において優れている。 本稿では、特殊な弱いモデルと一般的な強いモデルとを組み合わせた協調的なフレームワークを提案する。 相補的な強みを活用することで、コラボレーションが各モデルを単独で著しく上回っていることが分かりました。
  論文  参考訳（メタデータ） (2025-04-21T15:57:33Z)
• MAA: Meticulous Adversarial Attack against Vision-Language Pre-trained Models [30.04163729936878]
  Meticulous Adrial Attack (MAA) は、個々のサンプルのモデルに依存しない特性と脆弱性を完全に活用する。 MAAは、新しいリサイズ・スライディング作物(RScrop)技術を開発することにより、敵画像のきめ細かい最適化を強調している。
  論文  参考訳（メタデータ） (2025-02-12T02:53:27Z)
• Sustainable Self-evolution Adversarial Training [41.35034408227795]
  本稿では,持続可能な自己進化学習(SSEAT)フレームワークを提案する。 本研究は,様々な種類の対角的事例から学習を実現するために,連続的な対向防衛パイプラインを導入する。 また,より多様で重要な再学習データを選択するために,逆データ再生モジュールを提案する。
  論文  参考訳（メタデータ） (2024-12-03T08:41:11Z)
• Aligning Visual Contrastive learning models via Preference Optimization [0.9438963196770565]
  本稿では,複雑な概念を分解するために,異なる優先度最適化(PO)手法を用いて,コントラスト学習モデルを訓練する新しい手法を提案する。 提案手法は,モデル行動と所望の嗜好を体系的に整合させ,目標タスクの性能を向上させる。 特に,CLIPのような対照的な視覚言語モデルでよく見られる,タイポグラフィー攻撃や帰納的バイアスに対するモデルロバスト性の向上に焦点を当てた。
  論文  参考訳（メタデータ） (2024-11-12T08:14:54Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。