論文の概要: PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs

• arxiv url: http://arxiv.org/abs/2409.14729v1
• Date: Mon, 23 Sep 2024 06:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:23:54.396339
• Title: PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs
• Title（参考訳）: PROMPTFUZZ:LLMにおけるプロンプト注入のロバスト試験のためのハーネスングファジング技術
• Authors: Jiahao Yu, Yangguang Shao, Hanwen Miao, Junzheng Shi, Xinyu Xing,
• Abstract要約: 大規模言語モデル(LLM)は、人間のようなテキストを生成する強力な能力のため、様々なアプリケーションで広く利用されている。 プロンプトインジェクション攻撃は、モデルの最初の命令を悪意のあるプロンプトで上書きし、生成されたテキストを操作する。 本稿では,ファジィ技術を利用した新規な試験フレームワークであるProMPTFUZZを提案する。
• 参考スコア（独自算出の注目度）: 16.296171008281775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have gained widespread use in various applications due to their powerful capability to generate human-like text. However, prompt injection attacks, which involve overwriting a model's original instructions with malicious prompts to manipulate the generated text, have raised significant concerns about the security and reliability of LLMs. Ensuring that LLMs are robust against such attacks is crucial for their deployment in real-world applications, particularly in critical tasks. In this paper, we propose PROMPTFUZZ, a novel testing framework that leverages fuzzing techniques to systematically assess the robustness of LLMs against prompt injection attacks. Inspired by software fuzzing, PROMPTFUZZ selects promising seed prompts and generates a diverse set of prompt injections to evaluate the target LLM's resilience. PROMPTFUZZ operates in two stages: the prepare phase, which involves selecting promising initial seeds and collecting few-shot examples, and the focus phase, which uses the collected examples to generate diverse, high-quality prompt injections. Using PROMPTFUZZ, we can uncover more vulnerabilities in LLMs, even those with strong defense prompts. By deploying the generated attack prompts from PROMPTFUZZ in a real-world competition, we achieved the 7th ranking out of over 4000 participants (top 0.14%) within 2 hours. Additionally, we construct a dataset to fine-tune LLMs for enhanced robustness against prompt injection attacks. While the fine-tuned model shows improved robustness, PROMPTFUZZ continues to identify vulnerabilities, highlighting the importance of robust testing for LLMs. Our work emphasizes the critical need for effective testing tools and provides a practical framework for evaluating and improving the robustness of LLMs against prompt injection attacks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間のようなテキストを生成する強力な能力のため、様々なアプリケーションで広く利用されている。 しかし、生成したテキストを操作する悪意のあるプロンプトでモデルのオリジナルの命令を上書きするプロンプトインジェクション攻撃は、LLMのセキュリティと信頼性に関する重大な懸念を引き起こしている。 LLMがこのような攻撃に対して堅牢であることを保証することは、現実世界のアプリケーション、特にクリティカルなタスクへのデプロイに不可欠である。 本稿では,ファジィ技術を利用した新規な試験フレームワークであるProMPTFUZZを提案する。 PROMPTFUZZはソフトウェアファジッシングにインスパイアされ、有望なシードプロンプトを選択し、様々なプロンプトインジェクションを生成して、LLMのレジリエンスを評価する。 PROMPTFUZは、有望な初期種子の選択と数発のサンプルの収集を含む準備段階と、収集したサンプルを使用して多種多様な高品質のプロンプトインジェクションを生成するフォーカス段階の2段階で動作する。 PROMPTFUZZを使用することで、強力な防御プロンプトを持つ者でさえも、LSMの脆弱性を明らかにすることができる。 ProMPTFUZZから生成された攻撃プロンプトを現実世界のコンペに展開することで、2時間以内に4000人以上の参加者(0.14%以上)のうち7位にランクインした。 さらに, インジェクション攻撃に対する堅牢性を高めるため, LLMを微調整するためのデータセットを構築した。 微調整されたモデルでは堅牢性が改善されたが、PROMPTFUZは脆弱性を特定し続け、LSMの堅牢性テストの重要性を強調している。 本研究は, 効果的なテストツールの必要性を強調し, 即発インジェクション攻撃に対するLCMの堅牢性を評価・改善するための実践的なフレームワークを提供する。

関連論文リスト

• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection [6.269725911814401]
  大きな言語モデル(LLM)は、幅広い言語ベースのタスクに対処する能力が大きく進歩しているため、人気ツールになりつつある。 しかし、LSMのアプリケーションはインジェクション攻撃に対して非常に脆弱であり、致命的な問題を引き起こす。 このプロジェクトでは,インジェクションのインジェクション攻撃に関連するセキュリティ脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-10-28T00:36:21Z)
• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Defending Against Indirect Prompt Injection Attacks With Spotlighting [11.127479817618692]
  一般的なアプリケーションでは、複数の入力は1つのテキストストリームにまとめることで処理できる。 間接的なプロンプトインジェクション攻撃は、ユーザコマンドと共に処理されている信頼できないデータに、敵命令を埋め込むことによって、この脆弱性を利用する。 我々は,複数の入力源を識別するLLMの能力を向上させるために,迅速なエンジニアリング技術群であるスポットライティングを紹介した。
  論文  参考訳（メタデータ） (2024-03-20T15:26:23Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• PoisonPrompt: Backdoor Attack on Prompt-based Large Language Models [11.693095252994482]
  硬質および軟質のプロンプトベースのLLMを両立させる新しいバックドアアタックであるPOISONPROMPTを提案する。 本研究は,プロンプトをベースとしたLSMに対するバックドア攻撃によるセキュリティの脅威を浮き彫りにし,さらなる研究の必要性を強調した。
  論文  参考訳（メタデータ） (2023-10-19T03:25:28Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。