論文の概要: Efficient and Effective Universal Adversarial Attack against Vision-Language Pre-training Models

• arxiv url: http://arxiv.org/abs/2410.11639v2
• Date: Wed, 16 Oct 2024 13:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:25.971974
• Title: Efficient and Effective Universal Adversarial Attack against Vision-Language Pre-training Models
• Title（参考訳）: ビジョンランゲージ事前学習モデルに対する効率的かつ効果的なユニバーサル・ディバイザ・アタック
• Authors: Fan Yang, Yihao Huang, Kailong Wang, Ling Shi, Geguang Pu, Yang Liu, Haoyu Wang,
• Abstract要約: 非普遍的敵攻撃は、多くの場合、データインスタンス当たりの計算要求が高いため、リアルタイムオンラインアプリケーションでは実用的ではない。 DO-UAPと呼ばれる直接最適化に基づくUAPアプローチを提案し、高い攻撃性能を維持しながら資源消費を大幅に削減する。
• 参考スコア（独自算出の注目度）: 14.828324088905772
• License:
• Abstract: Vision-language pre-training (VLP) models, trained on large-scale image-text pairs, have become widely used across a variety of downstream vision-and-language (V+L) tasks. This widespread adoption raises concerns about their vulnerability to adversarial attacks. Non-universal adversarial attacks, while effective, are often impractical for real-time online applications due to their high computational demands per data instance. Recently, universal adversarial perturbations (UAPs) have been introduced as a solution, but existing generator-based UAP methods are significantly time-consuming. To overcome the limitation, we propose a direct optimization-based UAP approach, termed DO-UAP, which significantly reduces resource consumption while maintaining high attack performance. Specifically, we explore the necessity of multimodal loss design and introduce a useful data augmentation strategy. Extensive experiments conducted on three benchmark VLP datasets, six popular VLP models, and three classical downstream tasks demonstrate the efficiency and effectiveness of DO-UAP. Specifically, our approach drastically decreases the time consumption by 23-fold while achieving a better attack performance.
• Abstract（参考訳）: 大規模画像テキストペアで訓練された視覚言語事前学習(VLP)モデルは、様々な下流視覚言語(V+L)タスクで広く利用されている。 この普及により、敵の攻撃に対する脆弱性に対する懸念が高まる。 非普遍的敵攻撃は、有効ではあるが、多くの場合、データインスタンス当たりの高い計算要求のため、リアルタイムオンラインアプリケーションには実用的ではない。 近年,UAP(Universal Adversarial Perturbations)が解法として導入されているが,既存のジェネレータベースのUAP手法は時間を要する。 この制限を克服するため,DO-UAPと呼ばれる直接最適化に基づくUAPアプローチを提案し,高い攻撃性能を維持しながら資源消費を大幅に削減する。 具体的には、マルチモーダル損失設計の必要性について検討し、有用なデータ拡張戦略を導入する。 3つのベンチマークVLPデータセット、6つの人気のあるVLPモデル、そして3つの古典的な下流タスクで実施された大規模な実験は、DO-UAPの有効性と有効性を示している。 具体的には,攻撃性能の向上を図りながら,23倍の時間消費を劇的に削減する。

関連論文リスト

• MAA: Meticulous Adversarial Attack against Vision-Language Pre-trained Models [30.04163729936878]
  Meticulous Adrial Attack (MAA) は、個々のサンプルのモデルに依存しない特性と脆弱性を完全に活用する。 MAAは、新しいリサイズ・スライディング作物(RScrop)技術を開発することにより、敵画像のきめ細かい最適化を強調している。
  論文  参考訳（メタデータ） (2025-02-12T02:53:27Z)
• Efficient and Responsible Adaptation of Large Language Models for Robust and Equitable Top-k Recommendations [12.814937243361054]
  我々は,すべてのユーザグループに公平にサービスを提供することで,社会的利益を促進するために設計されたハイブリッドタスク割り当てフレームワークを提案する。 実世界の3つのデータセットによる結果から,ユーザ数が大幅に減少し,不均等にコストを増大させることなく,サブポピュレーションに対するロバスト性が改善された。
  論文  参考訳（メタデータ） (2025-01-08T18:08:48Z)
• Adversarial Attacks on Large Language Models Using Regularized Relaxation [1.042748558542389]
  大規模言語モデル(LLM)は、多くの実用的な用途に使われている。 敵攻撃法は、これらの脆弱性を研究し、理解するために広く使われている。 本稿では,正規化勾配を連続最適化法で活用することにより,これらの制限を克服する新たな攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T21:01:45Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Universal Adversarial Perturbations for Vision-Language Pre-trained Models [30.04163729936878]
  我々は,UAP(Universal Adversarial Perturbations)を生成する新しいブラックボックス手法を提案する。 ETUは、UAPの特性と本質的な相互モーダル相互作用を考慮し、効果的なUAPを生成する。 さらに,UAPの有効性と転送性を高めるために,ScMixという新しいデータ拡張手法を設計する。
  論文  参考訳（メタデータ） (2024-05-09T03:27:28Z)
• Effective Backdoor Mitigation in Vision-Language Models Depends on the Pre-training Objective [71.39995120597999]
  現代の機械学習モデルは、敵の攻撃やバックドア攻撃に弱い。 このようなリスクは、マルチモーダルモデルをトレーニングするための大規模なインターネットソースデータセット収集の一般的なプラクティスによって高められている。 CleanCLIPは、マルチモーダルモデルにおけるバックドア効果を軽減するための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-11-25T06:55:13Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
  マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
  論文  参考訳（メタデータ） (2023-05-20T16:41:48Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。