論文の概要: Unveiling Typographic Deceptions: Insights of the Typographic Vulnerability in Large Vision-Language Model

• arxiv url: http://arxiv.org/abs/2402.19150v2
• Date: Thu, 21 Mar 2024 17:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 18:58:05.416577
• Title: Unveiling Typographic Deceptions: Insights of the Typographic Vulnerability in Large Vision-Language Model
• Title（参考訳）: タイポグラフィーの欠陥の解き放つ:大視野言語モデルにおけるタイポグラフィーの脆弱性の考察
• Authors: Hao Cheng, Erjia Xiao, Jindong Gu, Le Yang, Jinhao Duan, Jize Zhang, Jiahang Cao, Kaidi Xu, Renjing Xu,
• Abstract要約: タイポグラフィー攻撃はLVLMのセキュリティ上の脅威になると予想されている。 現在よく知られた商用およびオープンソースのLVLMに対するタイポグラフィー攻撃を検証する。 この脆弱性をよりよく評価するために,これまでで最も包括的で大規模なTypographicデータセットを提案する。
• 参考スコア（独自算出の注目度）: 23.764618459753326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) rely on vision encoders and Large Language Models (LLMs) to exhibit remarkable capabilities on various multi-modal tasks in the joint space of vision and language. However, the Typographic Attack, which disrupts vision-language models (VLMs) such as Contrastive Language-Image Pretraining (CLIP), has also been expected to be a security threat to LVLMs. Firstly, we verify typographic attacks on current well-known commercial and open-source LVLMs and uncover the widespread existence of this threat. Secondly, to better assess this vulnerability, we propose the most comprehensive and largest-scale Typographic Dataset to date. The Typographic Dataset not only considers the evaluation of typographic attacks under various multi-modal tasks but also evaluates the effects of typographic attacks, influenced by texts generated with diverse factors. Based on the evaluation results, we investigate the causes why typographic attacks may impact VLMs and LVLMs, leading to three highly insightful discoveries. By the examination of our discoveries and experimental validation in the Typographic Dataset, we reduce the performance degradation from $42.07\%$ to $13.90\%$ when LVLMs confront typographic attacks.
• Abstract（参考訳）: Large Vision-Language Models (LVLM) は視覚エンコーダとLarge Language Models (LLM) に依存し、視覚と言語の共同空間における様々なマルチモーダルタスクに顕著な能力を示す。 しかし、CLIP(Contrastive Language- Image Pretraining)のような視覚言語モデル(VLM)を妨害するTypographic AttackもLVLMのセキュリティ上の脅威として期待されている。 まず、現在よく知られた商用およびオープンソースのLVLMに対するタイポグラフィー攻撃を検証し、この脅威が広範に存在することを明らかにする。 第二に、この脆弱性をよりよく評価するために、これまでで最も包括的で大規模なTypographic Datasetを提案する。 タイポグラフィーデータセットは, 多様なマルチモーダルタスク下でのタイポグラフィー攻撃の評価だけでなく, 多様な要因で生成されたテキストに影響されたタイポグラフィー攻撃の効果も考慮している。 評価結果から,VLM や LVLM にタイポグラフィー攻撃が及ぼす影響について検討した。 タイポグラフィーデータセットにおける我々の発見と実験的検証により、LVLMがタイポグラフィー攻撃に直面する場合、性能劣化を42.07\%から13.90\%に低減する。

関連論文リスト

• Backdooring Vision-Language Models with Out-Of-Distribution Data [44.40928756056506]
  視覚言語モデル(VLM)は視覚入力から詳細なテキスト記述を生成する。 重要性は増しているが、特にバックドア攻撃に対するVLMの安全性は検討中である。 VLOOD(Backdooring Vision-Language Models with Out-of-Distribution Data)は、2つの重要なコントリビューションを持つ新しいアプローチである。
  論文  参考訳（メタデータ） (2024-10-02T06:21:00Z)
• TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
  本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。 画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
  論文  参考訳（メタデータ） (2024-09-28T04:37:09Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Are Large Vision Language Models up to the Challenge of Chart Comprehension and Reasoning? An Extensive Investigation into the Capabilities and Limitations of LVLMs [11.19928977117624]
  自然言語は、バーやラインチャートのようなデータ視覚化のためのコミュニケーションの強力な補完的モダリティである。 近年,チャート質問応答,チャート要約,ファクトチェックなど,さまざまなダウンストリームタスクが導入されている。 これらのタスクはユニークな課題であり、視覚言語推論とグラフデータテーブル、ビジュアルエンコーディング、自然言語プロンプトの微妙な理解の両方を要求する。 本稿では,最近開発された大規模視覚言語モデル(LVLM)の総合的な評価を,チャート理解と推論のタスクに対して行った。
  論文  参考訳（メタデータ） (2024-06-01T01:43:30Z)
• Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [62.34019142949628]
  誤読テキストを画像に貼り付けるタイポグラフィーアタックは、CLIPのようなビジョンランゲージモデルの性能を損なうことが知られている。 我々は、LVLMが自身に対する攻撃を発生させる2つの新しい、より効果的なTextitSelf-Generated攻撃を導入する。 ベンチマークにより,自己生成攻撃が重大な脅威となり,LVLM(s)分類性能が最大33%低下することが判明した。
  論文  参考訳（メタデータ） (2024-02-01T14:41:20Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in Language Models [4.776465250559034]
  ブラックボックスシナリオにおける手動テンプレートに対するプロンプトベースの逆攻撃を提案する。 まず,手動テンプレートを個別に分割するための文字レベルと単語レベルのアプローチを設計する。 そして、上記の破壊的アプローチに基づく攻撃に対する欲求的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。