論文の概要: Plug and Pray: Exploiting off-the-shelf components of Multi-Modal Models

• arxiv url: http://arxiv.org/abs/2307.14539v1
• Date: Wed, 26 Jul 2023 23:11:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 16:18:08.606124
• Title: Plug and Pray: Exploiting off-the-shelf components of Multi-Modal Models
• Title（参考訳）: plug and pray: マルチモーダルモデルの市販コンポーネントの活用
• Authors: Erfan Shayegani, Yue Dong, Nael Abu-Ghazaleh
• Abstract要約: マルチモーダルシステムに対する対向的な埋め込み空間攻撃を導入する。 我々のアプローチは、事前訓練されたエンコーダの巨大な未探索の埋め込み空間に依存している。 本研究は,基礎成分の包括的検討の必要性を強調した。
• 参考スコア（独自算出の注目度）: 12.890084827817997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth and increasing popularity of incorporating additional modalities (e.g., vision) into large language models (LLMs) has raised significant security concerns. This expansion of modality, akin to adding more doors to a house, unintentionally creates multiple access points for adversarial attacks. In this paper, by introducing adversarial embedding space attacks, we emphasize the vulnerabilities present in multi-modal systems that originate from incorporating off-the-shelf components like public pre-trained encoders in a plug-and-play manner into these systems. In contrast to existing work, our approach does not require access to the multi-modal system's weights or parameters but instead relies on the huge under-explored embedding space of such pre-trained encoders. Our proposed embedding space attacks involve seeking input images that reside within the dangerous or targeted regions of the extensive embedding space of these pre-trained components. These crafted adversarial images pose two major threats: 'Context Contamination' and 'Hidden Prompt Injection'-both of which can compromise multi-modal models like LLaVA and fully change the behavior of the associated language model. Our findings emphasize the need for a comprehensive examination of the underlying components, particularly pre-trained encoders, before incorporating them into systems in a plug-and-play manner to ensure robust security.
• Abstract（参考訳）: 大規模言語モデル(llm)に付加的なモダリティ(ビジョンなど)を組み込んだ急速な成長と人気が高まっているため、セキュリティ上の懸念が高まっている。 このモダリティの拡大は、家のドアを増やすのと同じように、意図せずに敵攻撃のための複数のアクセスポイントを生成します。 本稿では, 対向型埋め込み空間攻撃の導入により, 市販の事前学習エンコーダなどの既設部品をプラグアンドプレイ方式で組み込んだマルチモーダルシステムに存在する脆弱性を強調した。 既存の作業とは対照的に、このアプローチではマルチモーダルシステムの重みやパラメータにアクセスする必要はなく、その代わりに、事前学習されたエンコーダの巨大な未熟な埋め込み空間に依存する。 提案する組込み空間攻撃には,事前学習済みコンポーネントの広範囲な組込み空間の危険領域や対象領域に存在する入力画像を求めることが含まれる。 これらは'コンテキスト汚染'と'隠れたプロンプト注入'の2つの大きな脅威をもたらし、どちらもllavaのようなマルチモーダルモデルに妥協し、関連する言語モデルの振舞いを完全に変えることができる。 本研究は,システムに組み込んで堅牢なセキュリティを確保するために,基礎となるコンポーネント,特に訓練済みエンコーダの総合的な検査の必要性を強調した。

関連論文リスト

• Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
  MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。 既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。 本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:59:45Z)
• SoK: A Systems Perspective on Compound AI Threats and Countermeasures [3.458371054070399]
  我々は、複合AIシステムに適用可能な、異なるソフトウェアとハードウェアの攻撃について議論する。 複数の攻撃機構を組み合わせることで、孤立攻撃に必要な脅威モデル仮定をいかに削減できるかを示す。
  論文  参考訳（メタデータ） (2024-11-20T17:08:38Z)
• Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey [50.031628043029244]
  マルチモーダル生成モデルは、ビルトインの安全機構をバイパスし、潜在的に有害なコンテンツの生成を誘導できる、ジェイルブレイク攻撃の影響を受けやすい。 本稿では,マルチモーダル生成モデルに特有の攻撃方法,防御機構,評価フレームワークの詳細な分類について述べる。
  論文  参考訳（メタデータ） (2024-11-14T07:51:51Z)
• Watch the Watcher! Backdoor Attacks on Security-Enhancing Diffusion Models [65.30406788716104]
  本研究では,セキュリティ強化拡散モデルの脆弱性について検討する。 これらのモデルは、シンプルで効果的なバックドア攻撃であるDIFF2に非常に感受性があることを実証する。 ケーススタディでは、DIFF2は、ベンチマークデータセットとモデル間で、パーフィケーション後の精度と認定精度の両方を著しく削減できることを示している。
  論文  参考訳（メタデータ） (2024-06-14T02:39:43Z)
• Multi-Agent Diagnostics for Robustness via Illuminated Diversity [37.38316542660311]
  発光ダイバーシティ(MADRID)によるロバストネスのマルチエージェント診断法を提案する。 MADRIDは、事前訓練されたマルチエージェントポリシーの戦略的脆弱性を明らかにする様々な敵シナリオを生成する。 我々は,Google Research Footballの11vs11バージョンにおけるMADRIDの有効性を評価する。
  論文  参考訳（メタデータ） (2024-01-24T14:02:09Z)
• LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
  次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。 従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:25:42Z)
• URET: Universal Robustness Evaluation Toolkit (for Evasion) [5.083689191206454]
  敵の回避攻撃は、ほとんどのAIシステムに対して展開することが難しい。 本稿では,入力タイプやタスク領域に関係なく,逆入力の生成を可能にする新しいフレームワークを提案する。 緩和手法の展開を可能にするために、敵の例を生成することの重要性を示す。
  論文  参考訳（メタデータ） (2023-08-03T16:05:39Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• ExploreADV: Towards exploratory attack for Neural Networks [0.33302293148249124]
  ExploreADVは、地域的および非受容的な攻撃をモデル化できる汎用的で柔軟な敵攻撃システムである。 提案システムは,入力のサブリージョンに着目し,知覚不能な摂動を探索し,攻撃に対する画素/領域の脆弱性を理解するための柔軟性をユーザに提供する。
  論文  参考訳（メタデータ） (2023-01-01T07:17:03Z)
• Exploring Adversarial Robustness of Multi-Sensor Perception Systems in Self Driving [87.3492357041748]
  本稿では,敵物体をホスト車両の上に配置することで,マルチセンサ検出の実用的感受性を示す。 実験の結果, 攻撃が成功した原因は主に画像の特徴が損なわれやすいことが判明した。 よりロバストなマルチモーダル知覚システムに向けて,特徴分断を伴う敵対的訓練が,このような攻撃に対するロバスト性を大幅に高めることを示す。
  論文  参考訳（メタデータ） (2021-01-17T21:15:34Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。