論文の概要: Typographic Attacks in a Multi-Image Setting

• arxiv url: http://arxiv.org/abs/2502.08193v1
• Date: Wed, 12 Feb 2025 08:10:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:44:19.764240
• Title: Typographic Attacks in a Multi-Image Setting
• Title（参考訳）: マルチ画像設定におけるタイポグラフィー攻撃
• Authors: Xiaomeng Wang, Zhengyu Zhao, Martha Larson,
• Abstract要約: タイポグラフィー攻撃の研究のためのマルチイメージ設定を提案する。 具体的には、アタッククエリを繰り返すことなく、イメージセットをアタックすることに重点を置いています。 対象画像の難易度,攻撃テキストの強度,テキスト画像の類似性を活用し,マルチイメージ設定のための2つの攻撃戦略を導入する。
• 参考スコア（独自算出の注目度）: 2.9154316123656927
• License:
• Abstract: Large Vision-Language Models (LVLMs) are susceptible to typographic attacks, which are misclassifications caused by an attack text that is added to an image. In this paper, we introduce a multi-image setting for studying typographic attacks, broadening the current emphasis of the literature on attacking individual images. Specifically, our focus is on attacking image sets without repeating the attack query. Such non-repeating attacks are stealthier, as they are more likely to evade a gatekeeper than attacks that repeat the same attack text. We introduce two attack strategies for the multi-image setting, leveraging the difficulty of the target image, the strength of the attack text, and text-image similarity. Our text-image similarity approach improves attack success rates by 21% over random, non-specific methods on the CLIP model using ImageNet while maintaining stealth in a multi-image scenario. An additional experiment demonstrates transferability, i.e., text-image similarity calculated using CLIP transfers when attacking InstructBLIP.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、画像に付加された攻撃テキストによる誤分類である。 本稿では,タイポグラフィー攻撃研究のためのマルチイメージ・セッティングを導入し,個々の画像に対する文献の重点を拡大する。 具体的には、アタッククエリを繰り返すことなく、イメージセットをアタックすることに重点を置いています。 このような繰り返し攻撃は、同じ攻撃テキストを繰り返す攻撃よりも、ゲートキーパーを避ける傾向にあるため、ステルス性が高い。 対象画像の難易度,攻撃テキストの強度,テキスト画像の類似性を活用し,マルチイメージ設定のための2つの攻撃戦略を導入する。 我々のテキストイメージ類似性アプローチは、マルチイメージシナリオにおけるステルスを維持しながら、ImageNetを使用してCLIPモデル上のランダムで非特異なメソッドに対して、攻撃成功率を21%向上させる。 追加の実験では、InstructBLIP攻撃時にCLIP転送を用いて計算されたテキストイメージの類似性を示す。

関連論文リスト

• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• Impart: An Imperceptible and Effective Label-Specific Backdoor Attack [15.859650783567103]
  我々は,攻撃者が被害者モデルにアクセスできないシナリオにおいて,Impartという新たな非知覚的なバックドア攻撃フレームワークを提案する。 具体的には、オール・ツー・オール・セッティングの攻撃能力を高めるために、まずラベル固有の攻撃を提案する。
  論文  参考訳（メタデータ） (2024-03-18T07:22:56Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [58.10730906004818]
  画像に誤解を招くテキストを追加するタイポグラフィー攻撃は、視覚言語モデル(LVLM)を欺くことができる 実験の結果,これらの攻撃は分類性能を最大60%低下させることがわかった。
  論文  参考訳（メタデータ） (2024-02-01T14:41:20Z)
• GAMA: Generative Adversarial Multi-Object Scene Attacks [48.33120361498787]
  本稿では,多目的シーンに対する敵攻撃に対する生成モデルを用いた最初のアプローチを提案する。 我々はこの攻撃アプローチをGAMA(Generative Adversarial Multi-Object scene Attacks)と呼ぶ。
  論文  参考訳（メタデータ） (2022-09-20T06:40:54Z)
• QAIR: Practical Query-efficient Black-Box Attacks for Image Retrieval [56.51916317628536]
  画像検索に対するクエリベースの攻撃について検討し,ブラックボックス設定下での対比例に対する堅牢性を評価する。 新たな関連性に基づく損失は、攻撃前後のトップk検索結果のセット類似度を測定して攻撃効果を定量化するように設計されている。 提案手法は,ブラックボックス設定による画像検索システムに対するクエリ数が少なく,高い攻撃成功率を達成できることを示す実験である。
  論文  参考訳（メタデータ） (2021-03-04T10:18:43Z)
• Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks [21.349059923635515]
  敵対的回避攻撃は ディープニューラルネットワーク画像分類器に 影響を受けやすいと報告されている 本稿では,乱れ画素数を著しく減少させることで,高密度攻撃を抑える確率的ポストホックフレームワークを提案する。 我々のフレームワークは、既存のスパース攻撃よりもはるかに高速に敵攻撃を行う。
  論文  参考訳（メタデータ） (2020-10-13T02:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。