論文の概要: Few-Shot Adversarial Prompt Learning on Vision-Language Models
- arxiv url: http://arxiv.org/abs/2403.14774v1
- Date: Thu, 21 Mar 2024 18:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 19:26:17.391628
- Title: Few-Shot Adversarial Prompt Learning on Vision-Language Models
- Title(参考訳): ビジョン・ランゲージモデルに基づく少数のショット対向的プロンプト学習
- Authors: Yiwei Zhou, Xiaobo Xia, Zhiwei Lin, Bo Han, Tongliang Liu,
- Abstract要約: 知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。
それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。
本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
- 参考スコア(独自算出の注目度): 62.50622628004134
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The vulnerability of deep neural networks to imperceptible adversarial perturbations has attracted widespread attention. Inspired by the success of vision-language foundation models, previous efforts achieved zero-shot adversarial robustness by aligning adversarial visual features with text supervision. However, in practice, they are still unsatisfactory due to several issues, including heavy adaptation cost, suboptimal text supervision, and uncontrolled natural generalization capacity. In this paper, to address these issues, we propose a few-shot adversarial prompt framework where adapting input sequences with limited data makes significant adversarial robustness improvement. Specifically, we achieve this by providing adversarially correlated text supervision that is end-to-end learned from adversarial examples. We also propose a novel training objective that enhances the consistency of multi-modal features while encourages differentiated uni-modal features between natural and adversarial examples. The proposed framework gives access to learn adversarial text supervision, which provides superior cross-modal adversarial alignment and matches state-of-the-art zero-shot adversarial robustness with only 1% training data.
- Abstract(参考訳): 知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。
視覚言語基盤モデルの成功に触発されて、それまでの努力は、相手の視覚的特徴とテキストの監督とを合わせることで、ゼロショットの敵の堅牢性を達成した。
しかし、実際には、重い適応コスト、最適テキスト監督、制御されていない自然一般化能力など、いくつかの問題のために、まだ満足できない。
本稿では、これらの問題に対処するために、限られたデータで入力シーケンスを適応させることで、対角性を大幅に向上させる、数ショットの対角プロンプトフレームワークを提案する。
具体的には、敵対的な例から学習したエンドツーエンドのテキスト管理を逆相関で提供することで、これを実現する。
また,マルチモーダルな特徴の整合性を高めつつ,自然な例と逆例を区別した単モーダルな特徴を奨励する新たな学習目標を提案する。
提案するフレームワークは, 学習用対角テキストの監視を行うことができ, クロスモーダルな対角アライメントを提供し, 最先端のゼロショット対角ロバスト性と1%のトレーニングデータとを一致させる。
関連論文リスト
- RobustSentEmbed: Robust Sentence Embeddings Using Adversarial Self-Supervised Contrastive Learning [11.347789553984741]
RobustSentEmbedは、テキスト表現タスクの堅牢性を改善するために設計された、自己教師型文埋め込みフレームワークである。
本フレームワークは,様々な敵攻撃の成功率を大幅に低下させ,BERTAttackの成功率をほぼ半分に削減する。
論文 参考訳(メタデータ) (2024-03-17T04:29:45Z) - Adversarial Prompt Tuning for Vision-Language Models [90.89469048482249]
AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。
我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
論文 参考訳(メタデータ) (2023-11-19T07:47:43Z) - Towards Improving Robustness Against Common Corruptions in Object
Detectors Using Adversarial Contrastive Learning [10.27974860479791]
本稿では, ニューラルネットワークの強靭性向上と, 対人攻撃と共通汚職の同時防止を目的とした, 革新的な対人的コントラスト学習フレームワークを提案する。
対戦型および実世界の条件下での性能向上に焦点を合わせることで、安全クリティカルなアプリケーションにおけるニューラルネットワークの堅牢性を高めることを目的としている。
論文 参考訳(メタデータ) (2023-11-14T06:13:52Z) - A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳(メタデータ) (2023-10-26T17:45:26Z) - Disentangled Text Representation Learning with Information-Theoretic
Perspective for Adversarial Robustness [17.5771010094384]
敵の脆弱性は信頼性の高いNLPシステムを構築する上で大きな障害である。
最近の研究は、モデルの敵意的な脆弱性は教師あり訓練における非破壊的な特徴によって引き起こされると主張している。
本稿では,不整合表現学習の観点から,敵対的課題に取り組む。
論文 参考訳(メタデータ) (2022-10-26T18:14:39Z) - Resisting Adversarial Attacks in Deep Neural Networks using Diverse
Decision Boundaries [12.312877365123267]
深層学習システムは、人間の目には認識できないが、モデルが誤分類される可能性がある、人工的な敵の例に弱い。
我々は,オリジナルモデルに対する多様な決定境界を持つディフェンダーモデルを構築するための,アンサンブルに基づく新しいソリューションを開発した。
我々は、MNIST、CIFAR-10、CIFAR-100といった標準画像分類データセットを用いて、最先端の敵攻撃に対する広範な実験を行った。
論文 参考訳(メタデータ) (2022-08-18T08:19:26Z) - Characterizing the adversarial vulnerability of speech self-supervised
learning [95.03389072594243]
我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。
実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
論文 参考訳(メタデータ) (2021-11-08T08:44:04Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳(メタデータ) (2020-12-06T20:30:26Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳(メタデータ) (2020-07-29T08:38:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。