論文の概要: A Systematic Study of Cross-Modal Typographic Attacks on Audio-Visual Reasoning

• arxiv url: http://arxiv.org/abs/2604.03995v1
• Date: Sun, 05 Apr 2026 06:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.867804
• Title: A Systematic Study of Cross-Modal Typographic Attacks on Audio-Visual Reasoning
• Title（参考訳）: オーディオ・ビジュアル・推論におけるクロスモーダル・タイポグラフィー・アタックの体系的研究
• Authors: Tianle Chen, Deepti Ghadiyaram,
• Abstract要約: マルチモーダル・タイポグラフィー(Multi-Modal Typography)は、タイポグラフィー攻撃がマルチモーダル・大規模言語モデルにどのように悪影響を及ぼすかを研究する体系的な研究である。 我々は、音声、視覚、テキストの摂動の相互作用を分析し、コーディネートされたマルチモーダルアタックが単一モーダルアタックよりもはるかに強力な脅威を生み出すことを明らかにした。
• 参考スコア（独自算出の注目度）: 6.442194752385315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As audio-visual multi-modal large language models (MLLMs) are increasingly deployed in safety-critical applications, understanding their vulnerabilities is crucial. To this end, we introduce Multi-Modal Typography, a systematic study examining how typographic attacks across multiple modalities adversely influence MLLMs. While prior work focuses narrowly on unimodal attacks, we expose the cross-modal fragility of MLLMs. We analyze the interactions between audio, visual, and text perturbations and reveal that coordinated multi-modal attack creates a significantly more potent threat than single-modality attacks (attack success rate = $83.43\%$ vs $34.93\%$).Our findings across multiple frontier MLLMs, tasks, and common-sense reasoning and content moderation benchmarks establishes multi-modal typography as a critical and underexplored attack strategy in multi-modal reasoning. Code and data will be publicly available.
• Abstract（参考訳）: オーディオビジュアルなマルチモーダルな大規模言語モデル(MLLM)は、安全クリティカルなアプリケーションにますますデプロイされているため、その脆弱性を理解することが不可欠である。 この目的のために,マルチモーダル・タイポグラフィ (Multi-Modal Typography) を導入する。 これまでの研究は、一過性の攻撃に焦点が当てられていたが、MLLMのクロスモーダルな脆弱性が露呈した。 我々は、音声、視覚、テキストの摂動の相互作用を分析し、コーディネートされたマルチモーダル攻撃はシングルモーダル攻撃よりもはるかに強力な脅威をもたらす(アタック成功率=8.43\%$対34.93\%$)。 我々は,複数のフロンティアMLLM,タスク,常識推論とコンテンツモデレーションのベンチマークを通じて,マルチモーダルタイポグラフィーをマルチモーダル推論における重要かつ未探索な攻撃戦略として確立した。 コードとデータは公開されます。

関連論文リスト

• Adversarial Attacks on Multimodal Large Language Models: A Comprehensive Survey [0.21847754147782886]
  MLLM(Multimodal large language model)は、テキスト、画像、オーディオ、ビデオなどの複数のモダリティからの情報を統合することで、視覚的質問応答や音声翻訳などの複雑な機能を実現する。 本調査はMLLMに対する敵の脅威を包括的かつ体系的に分析する。 攻撃対象に応じて敵攻撃を組織する分類法を導入し,多種多様な攻撃面をモダリティと展開設定で統一する。 また、マルチモーダルシステムのアーキテクチャや表現上の弱点を共有するために、整合性攻撃、安全性と脱獄の失敗、制御と命令のハイジャック、トレーニング時間中毒をリンクする脆弱性中心の分析も提案する。
  論文  参考訳（メタデータ） (2026-03-30T00:16:31Z)
• When Alignment Fails: Multimodal Adversarial Attacks on Vision-Language-Action Models [75.16145284285456]
  我々は,White-box設定とBlack-box設定の両方の下で,組込みVLAモデルのマルチモーダル対向ロバスト性に関する総合的研究であるVLA-Foolを紹介する。 自動生成および意味的に誘導されるプロンプトフレームワークを最初に開発する。 LIBEROベンチマークの実験では、小さなマルチモーダル摂動でさえ大きな行動偏差を引き起こすことが示されている。
  論文  参考訳（メタデータ） (2025-11-20T10:14:32Z)
• Sequential Comics for Jailbreaking Multimodal Large Language Models via Structured Visual Storytelling [11.939828002077482]
  MLLM(Multimodal large language model)は、優れた能力を示すが、ジェイルブレイク攻撃の影響を受けない。 本研究では,最新のMLLMにおける安全アライメントを回避するために,連続的な漫画スタイルの視覚的物語を活用する新しい手法を提案する。 攻撃成功率は平均83.5%であり, 先行技術の46%を突破した。
  論文  参考訳（メタデータ） (2025-10-16T18:30:26Z)
• Watch, Listen, Understand, Mislead: Tri-modal Adversarial Attacks on Short Videos for Content Appropriateness Evaluation [1.0012740151280692]
  本稿では,マルチモーダル大言語モデル(MLLM)の3次元安全性を評価するためのフレームワークを提案する。 本稿では,ヒト誘導型合成対向攻撃を用いたショートビデオ・マルチモーダル対向データセットを提案する。 最先端MLLMの大規模な実験により、攻撃成功率(ASR)の高い重大な脆弱性が明らかになった。
  論文  参考訳（メタデータ） (2025-07-16T07:02:15Z)
• Investigating Vulnerabilities and Defenses Against Audio-Visual Attacks: A Comprehensive Survey Emphasizing Multimodal Models [25.23931196918614]
  マルチモーダル・大規模言語モデル(MLLM)は、音声・視覚処理と自然言語処理のギャップを埋める。 MLLMの優れた性能にもかかわらず、高品質なオーディオ視覚訓練データと計算資源の不足は、サードパーティのデータとオープンソースのMLLMの利用を必要とする。 実証的研究は、最新のMLLMを操作して悪意のある、または有害なコンテンツを生成できることを実証している。
  論文  参考訳（メタデータ） (2025-06-13T07:22:36Z)
• Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
  マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。 LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。 本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2025-06-02T04:33:56Z)
• Con Instruction: Universal Jailbreaking of Multimodal Large Language Models via Non-Textual Modalities [76.9327488986162]
  既存のマルチモーダル言語モデル(MLLM)に対する攻撃は、主に敵対的な画像を伴うテキストを通して指示を伝える。 我々はMLLMの能力を利用して、非テキスト命令、具体的には、我々の新しい手法であるCon Instructionによって生成された逆画像やオーディオを解釈する。 LLaVA-v1.5 (13B)で81.3%,86.6%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2025-05-31T13:11:14Z)
• Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation [88.78166077081912]
  我々は、MLLMから特定のマルチモーダル知識を削除する方法を評価するために、マルチモーダル・アンラーニング・ベンチマークUnLOK-VQAとアタック・アンド・ディフェンス・フレームワークを導入する。 その結果,マルチモーダル攻撃はテキストや画像のみの攻撃よりも優れており,最も効果的な防御は内部モデル状態から解答情報を除去することを示した。
  論文  参考訳（メタデータ） (2025-05-01T01:54:00Z)
• MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
  MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。 最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。 役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
  論文  参考訳（メタデータ） (2025-03-24T20:38:42Z)
• Survey of Adversarial Robustness in Multimodal Large Language Models [17.926240920647892]
  MLLM(Multimodal Large Language Models)は、人工知能において例外的な性能を示す。 現実世界のアプリケーションへのデプロイは、敵の脆弱性に対する重大な懸念を引き起こす。 本稿では,MLLMの対角的ロバスト性について述べる。
  論文  参考訳（メタデータ） (2025-03-18T06:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。