論文の概要: VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data
- arxiv url: http://arxiv.org/abs/2410.00296v1
- Date: Tue, 01 Oct 2024 00:37:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:23:07.638713
- Title: VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data
- Title(参考訳): VLMGuard: ラベルなしデータによる悪意あるプロンプトに対するVLMの防御
- Authors: Xuefeng Du, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor Carvalho, Emily Lawton, Yixuan Li, Jack W. Stokes,
- Abstract要約: VLMGuardは、未ラベルのユーザプロンプトを悪質なプロンプト検出に利用する、新しい学習フレームワークである。
良性検体と悪性検体を区別するための自動悪意度推定スコアを提示する。
私たちのフレームワークは、人間のアノテーションを余分に必要とせず、現実世界のアプリケーションに強力な柔軟性と実用性を提供します。
- 参考スコア(独自算出の注目度): 29.806775884883685
- License:
- Abstract: Vision-language models (VLMs) are essential for contextual understanding of both visual and textual information. However, their vulnerability to adversarially manipulated inputs presents significant risks, leading to compromised outputs and raising concerns about the reliability in VLM-integrated applications. Detecting these malicious prompts is thus crucial for maintaining trust in VLM generations. A major challenge in developing a safeguarding prompt classifier is the lack of a large amount of labeled benign and malicious data. To address the issue, we introduce VLMGuard, a novel learning framework that leverages the unlabeled user prompts in the wild for malicious prompt detection. These unlabeled prompts, which naturally arise when VLMs are deployed in the open world, consist of both benign and malicious information. To harness the unlabeled data, we present an automated maliciousness estimation score for distinguishing between benign and malicious samples within this unlabeled mixture, thereby enabling the training of a binary prompt classifier on top. Notably, our framework does not require extra human annotations, offering strong flexibility and practicality for real-world applications. Extensive experiment shows VLMGuard achieves superior detection results, significantly outperforming state-of-the-art methods. Disclaimer: This paper may contain offensive examples; reader discretion is advised.
- Abstract(参考訳): 視覚言語モデル(VLM)は、視覚情報とテキスト情報の両方の文脈的理解に不可欠である。
しかし、逆に操作された入力に対する脆弱性は重大なリスクをもたらし、出力が損なわれ、VLM統合アプリケーションの信頼性に対する懸念が高まる。
したがって、これらの悪意のあるプロンプトを検出することは、VLM世代に対する信頼を維持するために重要である。
保護プロンプト分類器を開発する上での大きな課題は、大量のラベル付き良性および悪意のあるデータがないことである。
この問題に対処するために,未ラベルのユーザプロンプトを活用する新しい学習フレームワークであるVLMGuardを導入し,悪意のあるプロンプト検出を行う。
これらのラベルのないプロンプトは、VLMがオープンな世界に展開されたときに自然に発生するもので、良心と悪意のある情報の両方から構成される。
このラベル付きデータを活用するために,このラベル付き混合物中の良性サンプルと悪性サンプルを区別する自動悪意度推定スコアを提示し,その上でバイナリプロンプト分類器のトレーニングを可能にする。
特に、私たちのフレームワークは人間のアノテーションを余分に必要とせず、現実世界のアプリケーションに強力な柔軟性と実用性を提供します。
大規模な実験により、VLMGuardは優れた検出結果を得ることができ、最先端の手法よりも優れていた。
Disclaimer: この論文には攻撃的な例が含まれており、読者の判断は推奨される。
関連論文リスト
- DLAP: A Deep Learning Augmented Large Language Model Prompting Framework for Software Vulnerability Detection [12.686480870065827]
本稿では,ディープラーニング(DL)モデルとLLM(Large Language Models)モデルの両方を最大限に組み合わせて,例外的な脆弱性検出性能を実現するフレームワークである textbfDLAP について述べる。
実験の結果、DLAPは、ロールベースのプロンプト、補助情報プロンプト、チェーン・オブ・シントプロンプト、コンテキスト内学習プロンプトなど、最先端のプロンプトフレームワークより優れていることが確認された。
論文 参考訳(メタデータ) (2024-05-02T11:44:52Z) - A Comprehensive Study of the Capabilities of Large Language Models for Vulnerability Detection [9.422811525274675]
大規模言語モデル(LLM)は、コード生成やその他のソフトウェアエンジニアリングタスクに大きな可能性を実証しています。
脆弱性検出は、ソフトウェアシステムのセキュリティ、完全性、信頼性を維持する上で非常に重要である。
最近の研究は、ジェネリックプロンプト技術を用いた脆弱性検出にLLMを適用しているが、このタスクの能力とそれらが犯すエラーの種類は未だ不明である。
論文 参考訳(メタデータ) (2024-03-25T21:47:36Z) - Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。
本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。
推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文 参考訳(メタデータ) (2023-12-07T13:53:29Z) - Certifying LLM Safety against Adversarial Prompting [75.19953634352258]
大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。
我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
論文 参考訳(メタデータ) (2023-09-06T04:37:20Z) - Evaluating the Instruction-Following Robustness of Large Language Models
to Prompt Injection [70.28425745910711]
LLM(Large Language Models)は、命令追従に非常に熟練した言語である。
この能力は、迅速なインジェクション攻撃のリスクをもたらす。
このような攻撃に対する命令追従LDMの堅牢性を評価する。
論文 参考訳(メタデータ) (2023-08-17T06:21:50Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Unlearnable Clusters: Towards Label-agnostic Unlearnable Examples [128.25509832644025]
インターネット上の視覚的プライバシー漏洩に対して、未学習の例(UE)を開発することへの関心が高まっている。
UEは、目に見えないが学習不可能なノイズを付加したトレーニングサンプルであり、機械学習モデルの不正なトレーニングを防ぐことができる。
本稿では,無学習クラスタ (UC) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-12-31T04:26:25Z) - MERLIN -- Malware Evasion with Reinforcement LearnINg [26.500149465292246]
本稿では,DQNアルゴリズムとREINFORCEアルゴリズムを用いた強化学習を用いて,最先端の2つのマルウェア検出エンジンに挑戦する手法を提案する。
本手法では,Windows のポータブルな実行ファイルを機能的に損なうことなく変更する動作を複数組み合わせる。
限られた情報しか持たない商用AVでも,REINFORCEは高い回避率を達成できることを実証する。
論文 参考訳(メタデータ) (2022-03-24T10:58:47Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳(メタデータ) (2022-02-12T04:16:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。