論文の概要: Understanding Zero-Shot Adversarial Robustness for Large-Scale Models

• arxiv url: http://arxiv.org/abs/2212.07016v2
• Date: Fri, 21 Apr 2023 17:08:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 17:52:00.616491
• Title: Understanding Zero-Shot Adversarial Robustness for Large-Scale Models
• Title（参考訳）: 大規模モデルに対するゼロショット逆ロバストネスの理解
• Authors: Chengzhi Mao, Scott Geng, Junfeng Yang, Xin Wang, Carl Vondrick
• Abstract要約: ゼロショット対角ロバスト性に対する大規模モデルの強調問題を特定し,検討する。 本研究では,テキスト埋め込みと対向的視覚特徴を対照学習と整合させるテキスト誘導型対向的学習損失を提案する。 当社のアプローチは,ImageNetと15のゼロショットデータセットに対して,平均31ポイント以上の改善を達成し,CLIPに対するゼロショット対逆ロバスト性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 31.295249927085475
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pretrained large-scale vision-language models like CLIP have exhibited strong generalization over unseen tasks. Yet imperceptible adversarial perturbations can significantly reduce CLIP's performance on new tasks. In this work, we identify and explore the problem of \emph{adapting large-scale models for zero-shot adversarial robustness}. We first identify two key factors during model adaption -- training losses and adaptation methods -- that affect the model's zero-shot adversarial robustness. We then propose a text-guided contrastive adversarial training loss, which aligns the text embeddings and the adversarial visual features with contrastive learning on a small set of training data. We apply this training loss to two adaption methods, model finetuning and visual prompt tuning. We find that visual prompt tuning is more effective in the absence of texts, while finetuning wins in the existence of text guidance. Overall, our approach significantly improves the zero-shot adversarial robustness over CLIP, seeing an average improvement of over 31 points over ImageNet and 15 zero-shot datasets. We hope this work can shed light on understanding the zero-shot adversarial robustness of large-scale models.
• Abstract（参考訳）: CLIPのような事前訓練された大規模視覚言語モデルは、目に見えないタスクに対して強力な一般化を示している。 しかし、認識不能な逆境摂動は、新しいタスクにおけるCLIPの性能を著しく低下させる可能性がある。 本研究では,ゼロショット逆ロバスト性に対する大規模モデル適応の問題を特定し,検討する。 まず,モデル適応における2つの重要な要因(トレーニング損失と適応方法)を特定し,モデルのゼロショット対向ロバスト性に影響を及ぼす。 そこで本研究では,テキスト埋め込みと対角的視覚特徴を,少量のトレーニングデータに対するコントラスト学習と整合させる,テキスト誘導型対向的学習損失を提案する。 このトレーニング損失をモデルファインタニングと視覚的プロンプトチューニングという2つの適応手法に適用する。 テキストの欠如により視覚的なプロンプトチューニングがより効果的であるのに対し、微調整はテキストガイダンスの存在に勝利する。 全体として、私たちのアプローチはCLIPに対するゼロショットの対角性を大幅に改善し、ImageNetと15のゼロショットデータセットを平均31ポイント以上改善しました。 この研究が、大規模モデルのゼロショット対逆ロバスト性を理解することに光を当てることを願っている。

関連論文リスト

• Text-Guided Attention is All You Need for Zero-Shot Robustness in Vision-Language Models [64.67721492968941]
  ゼロショットロバストネス(TGA-ZSR)のためのテキストガイド型アテンションを提案する。 我々のゴールは、CLIPモデルの一般化を維持し、敵の堅牢性を高めることである。 本手法は,現在の最先端技術よりも9.58%の精度でゼロショット精度を向上する。
  論文  参考訳（メタデータ） (2024-10-29T07:15:09Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Zero-Shot Robustification of Zero-Shot Models [13.143596481809508]
  完全ゼロショット方式で事前学習したモデル埋め込みのロバスト性を改善する手法であるRoboShotを提案する。 まず、タスク記述から有用な洞察を得るために言語モデル(LM)を用いる。 これらの洞察は組み込まれ、有害なコンポーネントを取り除くために使われます。
  論文  参考訳（メタデータ） (2023-09-08T14:15:47Z)
• Interpretable Computer Vision Models through Adversarial Training: Unveiling the Robustness-Interpretability Connection [0.0]
  解釈可能性は、モデルを現実世界にデプロイする際には、堅牢性と同じくらい不可欠です。 標準モデルは、ロバストと比較して敵の攻撃に対してより感受性が高く、その学習された表現は人間にはあまり意味がない。
  論文  参考訳（メタデータ） (2023-07-04T13:51:55Z)
• Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
  HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。 我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。 包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• CALIP: Zero-Shot Enhancement of CLIP with Parameter-free Attention [31.84299688413136]
  コントラスト言語-画像事前学習は、大きな伝達性を持つ視覚表現を学習することが示されている。 既存の作業では、CLIPに新たな学習可能なモジュールを提案し、数ショットのトレーニングセットでそれらを微調整する。 本稿では,パラメータフリーアテンションモジュールを通じてCLIPのゼロショット性能を向上させるために,フリーランチ拡張手法であるCALIPを導入する。
  論文  参考訳（メタデータ） (2022-09-28T15:22:11Z)
• PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack [73.3371797787823]
  逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。 本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。 提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
  論文  参考訳（メタデータ） (2022-09-14T22:58:31Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。