論文の概要: Adversarial Attacks in Multimodal Systems: A Practitioner's Survey

• arxiv url: http://arxiv.org/abs/2505.03084v1
• Date: Tue, 06 May 2025 00:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.152018
• Title: Adversarial Attacks in Multimodal Systems: A Practitioner's Survey
• Title（参考訳）: マルチモーダルシステムにおける敵攻撃 : 実践者の調査
• Authors: Shashank Kapoor, Sanjay Surendranath Girija, Lakshit Arora, Dipen Pradhan, Ankit Shetgaonkar, Aman Raj,
• Abstract要約: マルチモーダルモデルは、テキスト、画像、ビデオ、オーディオを理解するために訓練されています。 オープンソースモデルはすべてのモダリティの脆弱性を継承し、敵の脅威が増幅する。 本論文は,4つのモダリティを対象とする敵攻撃を調査することで,そのギャップを解消する。 我々の知る限りでは、この調査は、マルチモーダル世界の脅威景観を包括的に要約した初めてのものである。
• 参考スコア（独自算出の注目度）: 1.4513830934124627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The introduction of multimodal models is a huge step forward in Artificial Intelligence. A single model is trained to understand multiple modalities: text, image, video, and audio. Open-source multimodal models have made these breakthroughs more accessible. However, considering the vast landscape of adversarial attacks across these modalities, these models also inherit vulnerabilities of all the modalities, and ultimately, the adversarial threat amplifies. While broad research is available on possible attacks within or across these modalities, a practitioner-focused view that outlines attack types remains absent in the multimodal world. As more Machine Learning Practitioners adopt, fine-tune, and deploy open-source models in real-world applications, it's crucial that they can view the threat landscape and take the preventive actions necessary. This paper addresses the gap by surveying adversarial attacks targeting all four modalities: text, image, video, and audio. This survey provides a view of the adversarial attack landscape and presents how multimodal adversarial threats have evolved. To the best of our knowledge, this survey is the first comprehensive summarization of the threat landscape in the multimodal world.
• Abstract（参考訳）: マルチモーダルモデルの導入は、人工知能の大きな前進だ。 単一のモデルは、テキスト、画像、ビデオ、オーディオなど、複数のモードを理解するために訓練される。 オープンソースのマルチモーダルモデルは、これらのブレークスルーをよりアクセスしやすくしている。 しかし、これらのモダリティにまたがる敵の攻撃の広大な風景を考えると、これらのモデルは全てのモダリティの脆弱性を継承し、最終的には敵の脅威が増幅する。 これらのモダリティ内の攻撃の可能性については幅広い研究が可能であるが、マルチモダリティの世界では、攻撃のタイプを概説する実践者中心の見解はいまだに欠落している。 より多くの機械学習実践者が、現実世界のアプリケーションにオープンソースモデルを採用、微調整、デプロイしているため、脅威の風景を眺め、必要な予防措置を取ることが重要です。 本論文は,テキスト,画像,ビデオ,音声の4つのモードを対象とする敵攻撃を調査することで,そのギャップを解消する。 この調査は、敵の攻撃環境の展望を提供し、マルチモーダルの敵の脅威がどのように進化したかを示す。 我々の知る限りでは、この調査は、マルチモーダル世界の脅威景観を包括的に要約した初めてのものである。

関連論文リスト

• Investigating Vulnerabilities and Defenses Against Audio-Visual Attacks: A Comprehensive Survey Emphasizing Multimodal Models [25.23931196918614]
  マルチモーダル・大規模言語モデル(MLLM)は、音声・視覚処理と自然言語処理のギャップを埋める。 MLLMの優れた性能にもかかわらず、高品質なオーディオ視覚訓練データと計算資源の不足は、サードパーティのデータとオープンソースのMLLMの利用を必要とする。 実証的研究は、最新のMLLMを操作して悪意のある、または有害なコンテンツを生成できることを実証している。
  論文  参考訳（メタデータ） (2025-06-13T07:22:36Z)
• Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
  マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。 LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。 本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2025-06-02T04:33:56Z)
• MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
  MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。 最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。 役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
  論文  参考訳（メタデータ） (2025-03-24T20:38:42Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [298.05093528230753]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey [50.031628043029244]
  マルチモーダル生成モデルは、ビルトインの安全機構をバイパスし、潜在的に有害なコンテンツの生成を誘導できる、ジェイルブレイク攻撃の影響を受けやすい。 本稿では,マルチモーダル生成モデルに特有の攻撃方法,防御機構,評価フレームワークの詳細な分類について述べる。
  論文  参考訳（メタデータ） (2024-11-14T07:51:51Z)
• Seeing is Deceiving: Exploitation of Visual Pathways in Multi-Modal Language Models [0.0]
  MLLM(Multi-Modal Language Models)は、視覚データとテキストデータを組み合わせた人工知能である。 攻撃者は視覚的またはテキスト的な入力を操作するか、あるいは両方を操作して、意図しないあるいは有害な応答をモデルに生成させる。 本稿では,MLLMの視覚的入力が様々な攻撃戦略によってどのように活用できるかを概説する。
  論文  参考訳（メタデータ） (2024-11-07T16:21:18Z)
• AnyAttack: Towards Large-scale Self-supervised Adversarial Attacks on Vision-language Models [39.34959092321762]
  VLM(Vision-Language Models)は、画像ベースの敵攻撃に対して脆弱である。 我々は、従来の攻撃の制限を超越した自己教師型フレームワークであるAnyAttackを紹介する。
  論文  参考訳（メタデータ） (2024-10-07T09:45:18Z)
• BadCM: Invisible Backdoor Attack Against Cross-Modal Learning [110.37205323355695]
  クロスモーダルバックドアにおけるパズルの欠片を補うために,新たな両面バックドアを導入する。 BadCMは、1つの統合されたフレームワーク内で多様なクロスモーダルアタックのために意図的に設計された最初の目に見えないバックドアメソッドである。
  論文  参考訳（メタデータ） (2024-10-03T03:51:53Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• Adversarial Attacks for Multi-view Deep Models [39.07356013772198]
  本稿では,2段階攻撃(TSA)とエンドツーエンド攻撃(ETEA)の2つの多視点攻撃戦略を提案する。 TSAの主な考え方は、関連する単一ビューモデルに対する攻撃によって生成された逆例で、マルチビューモデルを攻撃することである。 ETEAは、ターゲットのマルチビューモデルに対するダイレクトアタックを達成するために適用される。
  論文  参考訳（メタデータ） (2020-06-19T08:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。