論文の概要: Typographic Attacks in a Multi-Image Setting

• arxiv url: http://arxiv.org/abs/2502.08193v1
• Date: Wed, 12 Feb 2025 08:10:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 18:10:00.908153
• Title: Typographic Attacks in a Multi-Image Setting
• Title（参考訳）: マルチ画像設定におけるタイポグラフィー攻撃
• Authors: Xiaomeng Wang, Zhengyu Zhao, Martha Larson,
• Abstract要約: タイポグラフィー攻撃の研究のためのマルチイメージ設定を提案する。 具体的には、アタッククエリを繰り返すことなく、イメージセットをアタックすることに重点を置いています。 対象画像の難易度,攻撃テキストの強度,テキスト画像の類似性を活用し,マルチイメージ設定のための2つの攻撃戦略を導入する。
• 参考スコア（独自算出の注目度）: 2.9154316123656927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) are susceptible to typographic attacks, which are misclassifications caused by an attack text that is added to an image. In this paper, we introduce a multi-image setting for studying typographic attacks, broadening the current emphasis of the literature on attacking individual images. Specifically, our focus is on attacking image sets without repeating the attack query. Such non-repeating attacks are stealthier, as they are more likely to evade a gatekeeper than attacks that repeat the same attack text. We introduce two attack strategies for the multi-image setting, leveraging the difficulty of the target image, the strength of the attack text, and text-image similarity. Our text-image similarity approach improves attack success rates by 21% over random, non-specific methods on the CLIP model using ImageNet while maintaining stealth in a multi-image scenario. An additional experiment demonstrates transferability, i.e., text-image similarity calculated using CLIP transfers when attacking InstructBLIP.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、画像に付加された攻撃テキストによる誤分類である。 本稿では,タイポグラフィー攻撃研究のためのマルチイメージ・セッティングを導入し,個々の画像に対する文献の重点を拡大する。 具体的には、アタッククエリを繰り返すことなく、イメージセットをアタックすることに重点を置いています。 このような繰り返し攻撃は、同じ攻撃テキストを繰り返す攻撃よりも、ゲートキーパーを避ける傾向にあるため、ステルス性が高い。 対象画像の難易度,攻撃テキストの強度,テキスト画像の類似性を活用し,マルチイメージ設定のための2つの攻撃戦略を導入する。 我々のテキストイメージ類似性アプローチは、マルチイメージシナリオにおけるステルスを維持しながら、ImageNetを使用してCLIPモデル上のランダムで非特異なメソッドに対して、攻撃成功率を21%向上させる。 追加の実験では、InstructBLIP攻撃時にCLIP転送を用いて計算されたテキストイメージの類似性を示す。

関連論文リスト

• Web Artifact Attacks Disrupt Vision Language Models [61.59021920232986]
  視覚言語モデル(VLM)は、大規模で軽量にキュレートされたWebデータセットに基づいて訓練されている。 意味概念と無関係な視覚信号の間に意図しない相関関係を学習する。 これまでの研究は、これらの相関関係をモデル予測を操作するための攻撃ベクトルとして武器化してきた。 非マッチングテキストとグラフィカル要素の両方を使ってモデルを誤解させる新しい操作クラスである、アーティファクトベースのアタックを紹介します。
  論文  参考訳（メタデータ） (2025-03-17T18:59:29Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [62.34019142949628]
  誤読テキストを画像に貼り付けるタイポグラフィーアタックは、CLIPのようなビジョンランゲージモデルの性能を損なうことが知られている。 我々は、LVLMが自身に対する攻撃を発生させる2つの新しい、より効果的なTextitSelf-Generated攻撃を導入する。 ベンチマークにより,自己生成攻撃が重大な脅威となり,LVLM(s)分類性能が最大33%低下することが判明した。
  論文  参考訳（メタデータ） (2024-02-01T14:41:20Z)
• Robust Contrastive Language-Image Pre-training against Data Poisoning and Backdoor Attacks [52.26631767748843]
  ROCLIPは、ターゲットデータ中毒やバックドア攻撃に対して、マルチモーダル視覚言語モデルを堅牢に学習するための最初の効果的な方法である。 ROCLIPは、比較的大きく多様なランダムキャプションのプールを考慮することにより、有毒な撮像対の関連を効果的に破壊する。 実験の結果,ROCLIPは訓練前のCLIPモデルにおいて,最先端のデータ中毒やバックドア攻撃を未然に防ぐことができることがわかった。
  論文  参考訳（メタデータ） (2023-03-13T04:49:46Z)
• GAMA: Generative Adversarial Multi-Object Scene Attacks [48.33120361498787]
  本稿では,多目的シーンに対する敵攻撃に対する生成モデルを用いた最初のアプローチを提案する。 我々はこの攻撃アプローチをGAMA(Generative Adversarial Multi-Object scene Attacks)と呼ぶ。
  論文  参考訳（メタデータ） (2022-09-20T06:40:54Z)
• Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks [21.349059923635515]
  敵対的回避攻撃は ディープニューラルネットワーク画像分類器に 影響を受けやすいと報告されている 本稿では,乱れ画素数を著しく減少させることで,高密度攻撃を抑える確率的ポストホックフレームワークを提案する。 我々のフレームワークは、既存のスパース攻撃よりもはるかに高速に敵攻撃を行う。
  論文  参考訳（メタデータ） (2020-10-13T02:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。