論文の概要: Enhancing Adversarial Transferability in Visual-Language Pre-training Models via Local Shuffle and Sample-based Attack

• arxiv url: http://arxiv.org/abs/2511.00831v1
• Date: Sun, 02 Nov 2025 06:55:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.956467
• Title: Enhancing Adversarial Transferability in Visual-Language Pre-training Models via Local Shuffle and Sample-based Attack
• Title（参考訳）: 局所シャッフルとサンプルベースアタックによる視覚言語事前訓練モデルの逆変換性向上
• Authors: Xin Liu, Aoyang Zhou, Aoyang Zhou,
• Abstract要約: ローカルシャッフルとサンプルベースアタック(LSSA)という新たな攻撃法を提案する。 LSSAはローカル画像ブロックの1つをランダムにシャッフルし、元の画像テキストペアを拡張し、逆画像を生成し、それらをサンプリングする。 複数のモデルとデータセットの実験により、LSSAはマルチモーダル逆数例の転送可能性を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 6.190046662134303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual-Language Pre-training (VLP) models have achieved significant performance across various downstream tasks. However, they remain vulnerable to adversarial examples. While prior efforts focus on improving the adversarial transferability of multimodal adversarial examples through cross-modal interactions, these approaches suffer from overfitting issues, due to a lack of input diversity by relying excessively on information from adversarial examples in one modality when crafting attacks in another. To address this issue, we draw inspiration from strategies in some adversarial training methods and propose a novel attack called Local Shuffle and Sample-based Attack (LSSA). LSSA randomly shuffles one of the local image blocks, thus expanding the original image-text pairs, generating adversarial images, and sampling around them. Then, it utilizes both the original and sampled images to generate the adversarial texts. Extensive experiments on multiple models and datasets demonstrate that LSSA significantly enhances the transferability of multimodal adversarial examples across diverse VLP models and downstream tasks. Moreover, LSSA outperforms other advanced attacks on Large Vision-Language Models.
• Abstract（参考訳）: VLP(Visual-Language Pre-Training)モデルは、さまざまな下流タスクで大きなパフォーマンスを実現している。 しかし、敵の例には弱いままである。 従来,マルチモーダル対向例の相互相互作用による対向的伝達性の向上に重点を置いてきたが,これらのアプローチは,一方のモーダルで攻撃を行う場合の対向的事例からの情報に過度に依存することにより,入力の多様性が欠如しているため,過度に適合する問題に悩まされていた。 この問題に対処するため、敵の訓練手法の戦略からインスピレーションを得て、ローカルシャッフルとサンプルベースアタック(LSSA)と呼ばれる新たな攻撃を提案する。 LSSAはローカル画像ブロックの1つをランダムにシャッフルし、元の画像テキストペアを拡張し、逆画像を生成し、それらをサンプリングする。 そして、原画像とサンプル画像の両方を利用して、敵対的テキストを生成する。 複数のモデルとデータセットに対する大規模な実験により、LSSAは多様なVLPモデルと下流タスク間のマルチモーダル逆数例の転送可能性を大幅に向上することが示された。 さらにLSSAは、Large Vision-Language Modelsに対する他の高度な攻撃よりも優れている。

関連論文リスト

• Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack [51.16384207202798]
  視覚言語事前学習モデルは多モーダル逆例(AE)に対して脆弱である 従来のアプローチでは、画像とテキストのペアを拡大して、敵対的なサンプル生成プロセス内での多様性を高めている。 本稿では, 敵の多様性を高めるために, クリーン, ヒストリ, および現在の敵の例からなる敵の進化三角形からのサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T23:07:51Z)
• Feedback-based Modal Mutual Search for Attacking Vision-Language Pre-training Models [8.943713711458633]
  我々は、フィードバックベースのモーダル・ミューチュアル・サーチ(FMMS)と呼ばれる新たな攻撃パラダイムを提案する。 FMMSは、マッチした画像とテキストのペアをランダムに描画しながら、特徴空間に不一致のペアを描画することを目的としている。 これは、ターゲットモデルフィードバックを利用して、マルチモーダリティの逆境を探索する最初の試みである。
  論文  参考訳（メタデータ） (2024-08-27T02:31:39Z)
• Boosting Transferability in Vision-Language Attacks via Diversification along the Intersection Region of Adversarial Trajectory [8.591762884862504]
  視覚言語事前学習モデルは多モーダル逆例(AE)の影響を受けやすい 我々は,AEsの多様性を拡大するために,対向軌道の交差領域に沿った多様化を利用することを提案する。 潜在的なオーバーフィッティングを緩和するため、最適化経路に沿った最後の交差点領域から逸脱する逆テキストを指示する。
  論文  参考訳（メタデータ） (2024-03-19T05:10:10Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)
• Enhancing the Self-Universality for Transferable Targeted Attacks [88.6081640779354]
  本手法は,高次対角的摂動が標的攻撃に対してより伝達しやすい傾向にあることを示す。 異なる画像上の摂動を最適化する代わりに、異なる領域を最適化して自己ユニバーシティを実現することで、余分なデータを排除することができる。 特徴的類似性欠如により,本手法は,良性画像よりも対向性摂動の特徴が支配的となる。
  論文  参考訳（メタデータ） (2022-09-08T11:21:26Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。