論文の概要: Few-Shot Adversarial Prompt Learning on Vision-Language Models

• arxiv url: http://arxiv.org/abs/2403.14774v2
• Date: Wed, 23 Oct 2024 13:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:54:13.069670
• Title: Few-Shot Adversarial Prompt Learning on Vision-Language Models
• Title（参考訳）: ビジョン・ランゲージモデルに基づく少数のショット対向的プロンプト学習
• Authors: Yiwei Zhou, Xiaobo Xia, Zhiwei Lin, Bo Han, Tongliang Liu,
• Abstract要約: 知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 62.50622628004134
• License:
• Abstract: The vulnerability of deep neural networks to imperceptible adversarial perturbations has attracted widespread attention. Inspired by the success of vision-language foundation models, previous efforts achieved zero-shot adversarial robustness by aligning adversarial visual features with text supervision. However, in practice, they are still unsatisfactory due to several issues, including heavy adaptation cost, suboptimal text supervision, and uncontrolled natural generalization capacity. In this paper, to address these issues, we propose a few-shot adversarial prompt framework where adapting input sequences with limited data makes significant adversarial robustness improvement. Specifically, we achieve this by providing adversarially correlated text supervision that is end-to-end learned from adversarial examples. We also propose a novel training objective that enhances the consistency of multi-modal features while encourages differentiated uni-modal features between natural and adversarial examples. The proposed framework gives access to learn adversarial text supervision, which provides superior cross-modal adversarial alignment and matches state-of-the-art zero-shot adversarial robustness with only 1% training data. Code is available at: https://github.com/lionel-w2/FAP.
• Abstract（参考訳）: 知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 視覚言語基盤モデルの成功に触発されて、それまでの努力は、相手の視覚的特徴とテキストの監督とを合わせることで、ゼロショットの敵の堅牢性を達成した。 しかし、実際には、重い適応コスト、最適テキスト監督、制御されていない自然一般化能力など、いくつかの問題のために、まだ満足できない。 本稿では、これらの問題に対処するために、限られたデータで入力シーケンスを適応させることで、対角性を大幅に向上させる、数ショットの対角プロンプトフレームワークを提案する。 具体的には、敵対的な例から学習したエンドツーエンドのテキスト管理を逆相関で提供することで、これを実現する。 また,マルチモーダルな特徴の整合性を高めつつ,自然な例と逆例を区別した単モーダルな特徴を奨励する新たな学習目標を提案する。 提案するフレームワークは, 学習用対角テキストの監視を行うことができ, クロスモーダルな対角アライメントを提供し, 最先端のゼロショット対角ロバスト性と1%のトレーニングデータとを一致させる。 コードは、https://github.com/lionel-w2/FAP.comで入手できる。

関連論文リスト

• DiffuseDef: Improved Robustness to Adversarial Attacks [38.34642687239535]
  敵の攻撃は、事前訓練された言語モデルを使って構築されたシステムにとって重要な課題となる。 本稿では,拡散層をエンコーダと分類器のデノイザとして組み込んだDiffuseDefを提案する。 推測中、敵対的隠蔽状態はまずサンプルノイズと組み合わせられ、次に反復的に復調され、最後にアンサンブルされ、堅牢なテキスト表現が生成される。
  論文  参考訳（メタデータ） (2024-06-28T22:36:17Z)
• Improving Adversarial Robustness via Decoupled Visual Representation Masking [65.73203518658224]
  本稿では,特徴分布の観点から,ロバストな特徴の2つの新しい特性を強調した。 現状の防衛手法は、上記の2つの問題にうまく対処することを目的としている。 具体的には、分離された視覚的表現マスキングに基づく、シンプルだが効果的な防御法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T13:29:41Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• Towards Improving Robustness Against Common Corruptions in Object Detectors Using Adversarial Contrastive Learning [10.27974860479791]
  本稿では, ニューラルネットワークの強靭性向上と, 対人攻撃と共通汚職の同時防止を目的とした, 革新的な対人的コントラスト学習フレームワークを提案する。 対戦型および実世界の条件下での性能向上に焦点を合わせることで、安全クリティカルなアプリケーションにおけるニューラルネットワークの堅牢性を高めることを目的としている。
  論文  参考訳（メタデータ） (2023-11-14T06:13:52Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• Language-Driven Anchors for Zero-Shot Adversarial Robustness [25.160195547250655]
  本稿では,言語駆動型アンカー型対外訓練戦略を提案する。 テキストエンコーダのセマンティック一貫性を活用することで、LAATは画像モデルの対角的堅牢性を高めることを目指している。 LAATは、最先端手法よりもゼロショット対逆ロバスト性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-01-30T17:34:43Z)
• Disentangled Text Representation Learning with Information-Theoretic Perspective for Adversarial Robustness [17.5771010094384]
  敵の脆弱性は信頼性の高いNLPシステムを構築する上で大きな障害である。 最近の研究は、モデルの敵意的な脆弱性は教師あり訓練における非破壊的な特徴によって引き起こされると主張している。 本稿では,不整合表現学習の観点から,敵対的課題に取り組む。
  論文  参考訳（メタデータ） (2022-10-26T18:14:39Z)
• Characterizing the adversarial vulnerability of speech self-supervised learning [95.03389072594243]
  我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。 実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-08T08:44:04Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。