論文の概要: Typography Leads Semantic Diversifying: Amplifying Adversarial Transferability across Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2405.20090v1
• Date: Thu, 30 May 2024 14:27:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 14:08:52.112083
• Title: Typography Leads Semantic Diversifying: Amplifying Adversarial Transferability across Multimodal Large Language Models
• Title（参考訳）: タイポグラフィーはセマンティックな多様性を導く:マルチモーダルな大言語モデル間での逆転の可能性を増幅する
• Authors: Hao Cheng, Erjia Xiao, Jiahang Cao, Le Yang, Kaidi Xu, Jindong Gu, Renjing Xu,
• Abstract要約: 人間の知覚できない摂動を持つ敵対的な例は、伝達可能性として知られる特徴を持っている。 本稿では,タイポグラフィに基づくセマンティックトランスファー攻撃(TSTA)を提案する。 有害な単語挿入と重要な情報保護のシナリオでは、TSTAは優れた性能を示します。
• 参考スコア（独自算出の注目度）: 24.275446796100653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Following the advent of the Artificial Intelligence (AI) era of large models, Multimodal Large Language Models (MLLMs) with the ability to understand cross-modal interactions between vision and text have attracted wide attention. Adversarial examples with human-imperceptible perturbation are shown to possess a characteristic known as transferability, which means that a perturbation generated by one model could also mislead another different model. Augmenting the diversity in input data is one of the most significant methods for enhancing adversarial transferability. This method has been certified as a way to significantly enlarge the threat impact under black-box conditions. Research works also demonstrate that MLLMs can be exploited to generate adversarial examples in the white-box scenario. However, the adversarial transferability of such perturbations is quite limited, failing to achieve effective black-box attacks across different models. In this paper, we propose the Typographic-based Semantic Transfer Attack (TSTA), which is inspired by: (1) MLLMs tend to process semantic-level information; (2) Typographic Attack could effectively distract the visual information captured by MLLMs. In the scenarios of Harmful Word Insertion and Important Information Protection, our TSTA demonstrates superior performance.
• Abstract（参考訳）: 大規模モデルの人工知能(AI)時代が到来すると、視覚とテキスト間の相互モーダルな相互作用を理解する能力を持つマルチモーダル大言語モデル(MLLM)が注目されるようになった。 人間の知覚できない摂動の逆の例は、伝達可能性と呼ばれる特性を持っていることが示され、つまり、あるモデルによって生成された摂動は、別の異なるモデルも誤解させる可能性がある。 入力データの多様性を高めることは、敵の転送可能性を高めるための最も重要な方法の1つである。 この方法はブラックボックス条件下での脅威の影響を著しく拡大する方法として認定されている。 研究は、MLLMがホワイトボックスシナリオの逆例を生成するために利用されることも示している。 しかし、このような摂動の逆転性は非常に限られており、異なるモデルにまたがる効果的なブラックボックス攻撃を達成できなかった。 本稿では,(1)MLLMが意味レベルの情報を処理する傾向があること,(2)Typographic Attackは,MLLMが捉えた視覚情報を効果的に妨害することができること,にインスパイアされた,Typographic-based Semantic Transfer Attack (TSTA)を提案する。 有害な単語挿入と重要な情報保護のシナリオでは、TSTAは優れた性能を示します。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• A Persuasion-Based Prompt Learning Approach to Improve Smishing Detection through Data Augmentation [1.4388765025696655]
  マシンラーニングベースのスマイシング検出には、多くの課題が残っている。 スマイシング関連データの繊細な性質を考えると、MLモデルのトレーニングや評価に使用可能な、公開アクセス可能なデータが不足している。 本稿では,数発のプロンプト学習アプローチを用いた新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T04:20:02Z)
• Probing the Robustness of Vision-Language Pretrained Models: A Multimodal Adversarial Attack Approach [30.9778838504609]
  トランスを用いた視覚言語事前学習は、多数のマルチモーダルタスクにおいて例外的な性能を示した。 既存のマルチモーダルアタック手法は、視覚とテキストのモダリティ間のクロスモーダルな相互作用をほとんど見落としている。 本稿では,視覚的・テキスト的両モードの対向的摂動を同時に導入する,JMTFA(Joint Multimodal Transformer Feature Attack)を提案する。
  論文  参考訳（メタデータ） (2024-08-24T04:31:37Z)
• Cross-modality Information Check for Detecting Jailbreaking in Multimodal Large Language Models [17.663550432103534]
  マルチモーダル大言語モデル(MLLM)は、多モーダル情報を包括的に理解するためにLLMの能力を拡張する。 これらのモデルは、悪意のあるユーザーがターゲットモデルの安全アライメントを壊し、誤解を招く、有害な回答を発生させることができるジェイルブレイク攻撃の影響を受けやすい。 本稿では,悪質な摂動画像入力を識別するプラグイン・アンド・プレイのジェイルブレイク検出装置であるCIDERを提案する。
  論文  参考訳（メタデータ） (2024-07-31T15:02:46Z)
• MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
  大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。 この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。 我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
  論文  参考訳（メタデータ） (2024-06-04T08:35:04Z)
• The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
  MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。 本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-02-20T23:08:21Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models [56.256069117502385]
  Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。 しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。 本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:07:21Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。