論文の概要: Palisade -- Prompt Injection Detection Framework

• arxiv url: http://arxiv.org/abs/2410.21146v1
• Date: Mon, 28 Oct 2024 15:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:18:12.220621
• Title: Palisade -- Prompt Injection Detection Framework
• Title（参考訳）: Palisade -- プロンプト注入検出フレームワーク
• Authors: Sahasra Kokkula, Somanathan R, Nandavardhan R, Aashishkumar, G Divya,
• Abstract要約: 大規模言語モデルは、悪意のあるインジェクション攻撃に対して脆弱である。 本稿では,新しいNLPを用いたインジェクション検出手法を提案する。 階層化された入力スクリーニングプロセスを通じて精度と最適化を強調する。
• 参考スコア（独自算出の注目度）: 0.9620910657090188
• License:
• Abstract: The advent of Large Language Models LLMs marks a milestone in Artificial Intelligence, altering how machines comprehend and generate human language. However, LLMs are vulnerable to malicious prompt injection attacks, where crafted inputs manipulate the models behavior in unintended ways, compromising system integrity and causing incorrect outcomes. Conventional detection methods rely on static, rule-based approaches, which often fail against sophisticated threats like abnormal token sequences and alias substitutions, leading to limited adaptability and higher rates of false positives and false negatives.This paper proposes a novel NLP based approach for prompt injection detection, emphasizing accuracy and optimization through a layered input screening process. In this framework, prompts are filtered through three distinct layers rule-based, ML classifier, and companion LLM before reaching the target model, thereby minimizing the risk of malicious interaction.Tests show the ML classifier achieves the highest accuracy among individual layers, yet the multi-layer framework enhances overall detection accuracy by reducing false negatives. Although this increases false positives, it minimizes the risk of overlooking genuine injected prompts, thus prioritizing security.This multi-layered detection approach highlights LLM vulnerabilities and provides a comprehensive framework for future research, promoting secure interactions between humans and AI systems.
• Abstract（参考訳）: 大規模言語モデルの出現 LLM は人工知能のマイルストーンであり、機械が人間の言語を理解して生成する方法を変える。 しかし、LSMは悪意のあるプロンプトインジェクション攻撃に対して脆弱であり、クラフトインプットは意図しない方法でモデル動作を操作し、システムの完全性を損なうとともに、誤った結果を引き起こす。 従来の検出手法は静的な規則に基づくアプローチに依存しており,異常なトークンシーケンスやエイリアス置換といった高度な脅威に対してしばしば失敗し,適応性が制限され,偽陽性や偽陰性の発生率が向上する。 このフレームワークでは、ターゲットモデルに到達する前に、ルールベースの3つの異なる層、ML分類器、それに付随するLCMを通してプロンプトをフィルタリングし、悪意のある相互作用のリスクを最小限に抑える。 これは偽陽性を増大させるが、真に注入されたプロンプトを見落とし、セキュリティを優先するリスクを最小限にする。この多層検出アプローチは、LCMの脆弱性を強調し、将来の研究のための包括的なフレームワークを提供し、人間とAIシステム間のセキュアな相互作用を促進する。

関連論文リスト

• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Embedding-based classifiers can detect prompt injection attacks [5.820776057182452]
  大規模言語モデル(LLM)は敵の攻撃、特にインジェクション攻撃に対して脆弱である。 本稿では,組込み型機械学習(ML)分類器をベースとした新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T17:36:59Z)
• Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection [6.269725911814401]
  大きな言語モデル(LLM)は、幅広い言語ベースのタスクに対処する能力が大きく進歩しているため、人気ツールになりつつある。 しかし、LSMのアプリケーションはインジェクション攻撃に対して非常に脆弱であり、致命的な問題を引き起こす。 このプロジェクトでは,インジェクションのインジェクション攻撃に関連するセキュリティ脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-10-28T00:36:21Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Exploiting Low-confidence Pseudo-labels for Source-free Object Detection [54.98300313452037]
  Source-free Object Detection (SFOD) は、ラベル付きソースデータにアクセスすることなく、未ラベルのターゲットドメインにソーストレーニングされた検出器を適応することを目的としている。 現在のSFOD法は適応相におけるしきい値に基づく擬似ラベル手法を用いる。 疑似ラベルを最大限に活用するために,高信頼度と低信頼度しきい値を導入する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T12:59:55Z)
• Evaluation of Parameter-based Attacks against Embedded Neural Networks with Laser Injection [1.2499537119440245]
  この研究は、レーザ断層注入を用いた32ビットのCortex-Mマイクロコントローラ上で、ビットフリップ攻撃(BFA)の成功例を実際に報告した。 非現実的なブルートフォース戦略を避けるために、レーザ断層モデルを考慮したパラメータから最も敏感なビット群を選択するのにシミュレーションがどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-04-25T14:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。