論文の概要: Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks

• arxiv url: http://arxiv.org/abs/2402.00626v3
• Date: Thu, 13 Feb 2025 03:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:46:28.713192
• Title: Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks
• Title（参考訳）: Vision-LLMsは自己生成型タイポグラフィーアタックで患者を刺激できる
• Authors: Maan Qraitem, Nazia Tasnim, Piotr Teterwak, Kate Saenko, Bryan A. Plummer,
• Abstract要約: 画像に誤解を招くテキストを追加するタイポグラフィー攻撃は、視覚言語モデル(LVLM)を欺くことができる 実験の結果,これらの攻撃は分類性能を最大60%低下させることがわかった。
• 参考スコア（独自算出の注目度）: 58.10730906004818
• License:
• Abstract: Typographic attacks, adding misleading text to images, can deceive vision-language models (LVLMs). The susceptibility of recent large LVLMs like GPT4-V to such attacks is understudied, raising concerns about amplified misinformation in personal assistant applications. Previous attacks use simple strategies, such as random misleading words, which don't fully exploit LVLMs' language reasoning abilities. We introduce an experimental setup for testing typographic attacks on LVLMs and propose two novel self-generated attacks: (1) Class-based attacks, where the model identifies a similar class to deceive itself, and (2) Reasoned attacks, where an advanced LVLM suggests an attack combining a deceiving class and description. Our experiments show these attacks significantly reduce classification performance by up to 60\% and are effective across different models, including InstructBLIP and MiniGPT4. Code: https://github.com/mqraitem/Self-Gen-Typo-Attack
• Abstract（参考訳）: 画像に誤解を招くテキストを追加するタイポグラフィー攻撃は、視覚言語モデル(LVLM)を欺く可能性がある。 GPT4-Vのような最近の大規模LVLMのこのような攻撃に対する感受性は調査され、パーソナルアシスタントアプリケーションにおける誤報の増幅に関する懸念が高まっている。 以前の攻撃では、LVLMの言語推論能力を完全に活用していないランダムな誤解を招く単語のような単純な戦略が使用されていた。 本研究では,LVLMに対するタイポグラフィー攻撃を実験的に検証し,(1)クラスベース攻撃,(2)クラスベース攻撃,(2)推論攻撃,(2)先進的なLVLM攻撃,(2)先進的なLVLM攻撃の2つの新たな自己生成攻撃を提案する。 InstructBLIP や MiniGPT4 など,様々なモデルにおいて,これらの攻撃により分類性能が60 % まで大幅に低下することを示す。 コード:https://github.com/mqraitem/Self-Gen-Typo-Attack

関連論文リスト

• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• CLIP-Guided Generative Networks for Transferable Targeted Adversarial Attacks [52.29186466633699]
  トランスファー可能な敵攻撃は、ブラックボックスのシナリオで敵が特定した予測を出力するモデルを誤解させることを目的としている。 textitsingle-target 生成攻撃は、高い転送可能な摂動を生成するために、各ターゲットクラスのジェネレータを訓練する。 textbfCLIP-guided textbfGenerative textbfNetwork with textbfCross-attention module (CGNC) to enhance multi-target attack。
  論文  参考訳（メタデータ） (2024-07-14T12:30:32Z)
• Adversarial Attacks on Multimodal Agents [73.97379283655127]
  視覚対応言語モデル(VLM)は、現在、実環境でのアクションを可能にする自律的なマルチモーダルエージェントの構築に使用されている。 攻撃エージェントは、環境への限られたアクセスと知識により、以前の攻撃よりも困難であるにもかかわらず、マルチモーダルエージェントが新たな安全リスクを生じさせることを示す。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Unveiling Typographic Deceptions: Insights of the Typographic Vulnerability in Large Vision-Language Model [23.764618459753326]
  タイポグラフィー攻撃はLVLMのセキュリティ上の脅威になると予想されている。 現在よく知られた商用およびオープンソースのLVLMに対するタイポグラフィー攻撃を検証する。 この脆弱性をよりよく評価するために,これまでで最も包括的で大規模なTypographicデータセットを提案する。
  論文  参考訳（メタデータ） (2024-02-29T13:31:56Z)
• InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language Models [13.21813503235793]
  大規模視覚言語モデル(LVLM)は、画像理解と応答生成において、その驚くべき能力を示した。 本稿では,被害者LVLMの視覚エンコーダのみを敵が知ることのできる,新規で実用的な攻撃シナリオを定式化する。 本研究では,LVLMに対して高い転送性を有する目標対向攻撃を実現するために,命令調整型ターゲットアタック(dubed textscInstructTA)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T13:40:05Z)
• Large Language Models Are Better Adversaries: Exploring Generative Clean-Label Backdoor Attacks Against Text Classifiers [25.94356063000699]
  バックドア攻撃は、トレーニングとテストデータに無害なトリガーを挿入することで、モデル予測を操作する。 我々は、敵のトレーニング例を正しくラベル付けした、より現実的でより困難なクリーンラベル攻撃に焦点を当てる。 私たちの攻撃であるLLMBkdは言語モデルを利用して、さまざまなスタイルベースのトリガをテキストに自動的に挿入します。
  論文  参考訳（メタデータ） (2023-10-28T06:11:07Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Two-in-One: A Model Hijacking Attack Against Text Generation Models [19.826236952700256]
  我々は,異なるテキスト分類タスクを複数の世代にハイジャックできる新しいモデルハイジャック攻撃であるDittoを提案する。 提案手法は,Dittoを用いてテキスト生成モデルをハイジャックし,その利便性を損なうことなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-12T12:13:27Z)
• Defense-Prefix for Preventing Typographic Attacks on CLIP [14.832208701208414]
  一部の敵対的攻撃は、モデルを偽りまたはばかげた分類に騙す。 我々は,DP トークンをクラス名の前に挿入して,文字攻撃に対して "robust" という単語を"robust" する,シンプルで効果的な方法を紹介した。 本手法は, モデルにおけるゼロショット能力を維持しつつ, タイポグラフィー攻撃データセットの分類タスクの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-04-10T11:05:20Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。