論文の概要: Typographic Attacks in Large Multimodal Models Can be Alleviated by More Informative Prompts

• arxiv url: http://arxiv.org/abs/2402.19150v1
• Date: Thu, 29 Feb 2024 13:31:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 14:44:54.417481
• Title: Typographic Attacks in Large Multimodal Models Can be Alleviated by More Informative Prompts
• Title（参考訳）: 大規模マルチモーダルモデルのタイポグラフィー攻撃はよりインフォームティブなプロンプトによって軽減される
• Authors: Hao Cheng, Erjia Xiao, Renjing Xu
• Abstract要約: 大規模マルチモーダルモデル(LMM)は、驚くべき創発的能力を達成するために、事前訓練されたビジョン言語モデル(VLM)と大規模言語モデル(LLM)に依存します。 破壊的なToVLMを示すTypographic Attackも、LMMのセキュリティ脆弱性として認定されている。 本研究では, まず, タイポグラフィーによるLMMの分散性について総合的に検討する。
• 参考スコア（独自算出の注目度）: 4.386501770716732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Multimodal Models (LMMs) rely on pre-trained Vision Language Models (VLMs) and Large Language Models (LLMs) to perform amazing emergent abilities on various multimodal tasks in the joint space of vision and language. However, the Typographic Attack, which shows disruption to VLMs, has also been certified as a security vulnerability to LMMs. In this work, we first comprehensively investigate the distractibility of LMMs by typography. In particular, we introduce the Typographic Dataset designed to evaluate distractibility across various multi-modal subtasks, such as object recognition, visual attributes detection, enumeration, arithmetic computation, and commonsense reasoning. To further study the effect of typographic patterns on performance, we also scrutinize the effect of tuning various typographic factors, encompassing font size, color, opacity, and spatial positioning of typos. We discover that LMMs can partially distinguish visual contents and typos when confronting typographic attacks, which suggests that embeddings from vision encoders contain enough information to distinguish visual contents and typos in images. Inspired by such phenomena, we demonstrate that CLIP's performance of zero-shot classification on typo-ridden images can be significantly improved by providing more informative texts to match images. Furthermore, we also prove that LMMs can utilize more informative prompts to leverage information in embeddings to differentiate between visual content and typos. Finally, we propose a prompt information enhancement method that can effectively mitigate the effects of typography.
• Abstract（参考訳）: 大規模マルチモーダルモデル(lmms)は、事前訓練されたビジョン言語モデル(vlms)と大規模言語モデル(llm)に依存しており、視覚と言語の共同分野における様々なマルチモーダルタスクにおいて驚くべき創発的な能力を発揮する。 しかし、VLMの破壊を示すタイポグラフィー攻撃もLMMのセキュリティ脆弱性として認定されている。 本研究では, まず, タイポグラフィーによるLMMの分散性について検討する。 特に,オブジェクト認識,視覚属性検出,列挙,算術計算,常識推論など,様々なマルチモーダルサブタスク間の注意散逸性を評価するためのタイポグラフィーデータセットを提案する。 さらに,タイポスの性能に及ぼすタイポグラフィーパターンの影響について検討するため,タイポスのフォントサイズ,色,不透明度,空間的位置決めなど,様々なタイポグラフィー因子のチューニングの効果についても検討した。 視覚エンコーダからの埋め込みには視覚内容と画像のタイポスを区別するのに十分な情報が含まれていることが示唆された。 このような現象に触発されて,タイポライド画像におけるクリップのゼロショット分類の性能が,画像にマッチする情報テキストを提供することで著しく向上することを示す。 さらに,LMMが視覚コンテンツとタイポスを区別するために,より情報的なプロンプトを活用できることを示す。 最後に,タイポグラフィーの効果を効果的に軽減できる簡易情報拡張手法を提案する。

関連論文リスト

• Backdooring Vision-Language Models with Out-Of-Distribution Data [44.40928756056506]
  視覚言語モデル(VLM)は視覚入力から詳細なテキスト記述を生成する。 重要性は増しているが、特にバックドア攻撃に対するVLMの安全性は検討中である。 VLOOD(Backdooring Vision-Language Models with Out-of-Distribution Data)は、2つの重要なコントリビューションを持つ新しいアプローチである。
  論文  参考訳（メタデータ） (2024-10-02T06:21:00Z)
• TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
  本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。 画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
  論文  参考訳（メタデータ） (2024-09-28T04:37:09Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Are Large Vision Language Models up to the Challenge of Chart Comprehension and Reasoning? An Extensive Investigation into the Capabilities and Limitations of LVLMs [11.19928977117624]
  自然言語は、バーやラインチャートのようなデータ視覚化のためのコミュニケーションの強力な補完的モダリティである。 近年,チャート質問応答,チャート要約,ファクトチェックなど,さまざまなダウンストリームタスクが導入されている。 これらのタスクはユニークな課題であり、視覚言語推論とグラフデータテーブル、ビジュアルエンコーディング、自然言語プロンプトの微妙な理解の両方を要求する。 本稿では,最近開発された大規模視覚言語モデル(LVLM)の総合的な評価を,チャート理解と推論のタスクに対して行った。
  論文  参考訳（メタデータ） (2024-06-01T01:43:30Z)
• Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [62.34019142949628]
  誤読テキストを画像に貼り付けるタイポグラフィーアタックは、CLIPのようなビジョンランゲージモデルの性能を損なうことが知られている。 我々は、LVLMが自身に対する攻撃を発生させる2つの新しい、より効果的なTextitSelf-Generated攻撃を導入する。 ベンチマークにより,自己生成攻撃が重大な脅威となり,LVLM(s)分類性能が最大33%低下することが判明した。
  論文  参考訳（メタデータ） (2024-02-01T14:41:20Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in Language Models [4.776465250559034]
  ブラックボックスシナリオにおける手動テンプレートに対するプロンプトベースの逆攻撃を提案する。 まず,手動テンプレートを個別に分割するための文字レベルと単語レベルのアプローチを設計する。 そして、上記の破壊的アプローチに基づく攻撃に対する欲求的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。