論文の概要: From Prompt Injections to SQL Injection Attacks: How Protected is Your LLM-Integrated Web Application?

• arxiv url: http://arxiv.org/abs/2308.01990v4
• Date: Mon, 27 Jan 2025 20:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:38:44.026687
• Title: From Prompt Injections to SQL Injection Attacks: How Protected is Your LLM-Integrated Web Application?
• Title（参考訳）: プロンプトインジェクションからSQLインジェクションインジェクションインジェクションインジェクションインジェクションインジェクション: どのように保護されているか?
• Authors: Rodrigo Pedro, Daniel Castro, Paulo Carreira, Nuno Santos,
• Abstract要約: 本稿では,Langchainフレームワークに基づくWebアプリケーションを対象としたP$$インジェクションの総合的な検討を行う。 以上の結果から,Langchain をベースとした LLM 統合アプリケーションは P$$ のインジェクション攻撃の影響を受けやすいことが示唆された。 本稿では,Langchainフレームワークの拡張として統合可能な4つの効果的な防御手法を提案する。
• 参考スコア（独自算出の注目度）: 4.361862281841999
• License:
• Abstract: Large Language Models (LLMs) have found widespread applications in various domains, including web applications, where they facilitate human interaction via chatbots with natural language interfaces. Internally, aided by an LLM-integration middleware such as Langchain, user prompts are translated into SQL queries used by the LLM to provide meaningful responses to users. However, unsanitized user prompts can lead to SQL injection attacks, potentially compromising the security of the database. Despite the growing interest in prompt injection vulnerabilities targeting LLMs, the specific risks of generating SQL injection attacks through prompt injections have not been extensively studied. In this paper, we present a comprehensive examination of prompt-to-SQL (P$_2$SQL) injections targeting web applications based on the Langchain framework. Using Langchain as our case study, we characterize P$_2$SQL injections, exploring their variants and impact on application security through multiple concrete examples. Furthermore, we evaluate 7 state-of-the-art LLMs, demonstrating the pervasiveness of P$_2$SQL attacks across language models. Our findings indicate that LLM-integrated applications based on Langchain are highly susceptible to P$_2$SQL injection attacks, warranting the adoption of robust defenses. To counter these attacks, we propose four effective defense techniques that can be integrated as extensions to the Langchain framework. We validate the defenses through an experimental evaluation with a real-world use case application.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、Webアプリケーションを含む様々な領域で広く使われており、自然言語インタフェースを使ったチャットボットによるヒューマンインタラクションが促進されている。 内部的には、LangchainのようなLLM統合ミドルウェアによって支援され、ユーザプロンプトは、LLMがユーザに対して有意義な応答を提供するために使用するSQLクエリに変換される。 しかし、不衛生なユーザープロンプトはSQLインジェクション攻撃を引き起こし、データベースのセキュリティを損なう可能性がある。 LLMをターゲットとするインジェクションの脆弱性への関心が高まっているにもかかわらず、インジェクションのプロンプトによるSQLインジェクション攻撃の発生リスクは、広く研究されていない。 本稿では,Langchain フレームワークをベースとした Web アプリケーションを対象とした P$_2$SQL インジェクションの総合的な検討を行う。 ケーススタディとしてLangchainを使用して、P$_2$SQLインジェクションを特徴付け、そのバリエーションと、複数の具体的な例を通してアプリケーションのセキュリティへの影響を調査します。 さらに,言語モデルにまたがるP$_2$SQL攻撃の広範性を示す7つの最先端LCMを評価した。 以上の結果から,Langchain をベースとした LLM 統合アプリケーションは P$2$SQL インジェクション攻撃の影響を受けやすいことが示唆された。 これらの攻撃に対抗するために,Langchainフレームワークの拡張として統合可能な4つの効果的な防御手法を提案する。 実世界のユースケースアプリケーションを用いた実験的な評価により,防衛効果の検証を行う。

関連論文リスト

• Evaluating and Improving the Robustness of Security Attack Detectors Generated by LLMs [6.936401700600395]
  大規模言語モデル(LLM)は、セキュリティ要件を実装するアタック検出器などの関数を生成するために、ソフトウェア開発でますます使われている。 これは、LLMが既存の攻撃に関する知識を欠いていることと、生成されたコードが実際の使用シナリオで評価されていないことによる可能性が高い。 本稿では,LLMパイプラインにRAG(Retrieval Augmented Generation)とSelf-Rankingを統合した新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-27T10:48:37Z)
• FATH: Authentication-based Test-time Defense against Indirect Prompt Injection Attacks [45.65210717380502]
  大規模言語モデル(LLM)は、現実世界のアプリケーションのための追加ツールとテキスト情報を備えたバックボーンとして広くデプロイされている。 プロンプトインジェクション攻撃は特に脅威であり、外部のテキスト情報に悪意のあるインストラクションを注入することで、LLMを利用して攻撃者が望む答えを生成することができる。 本稿では,AuThentication with Hash-based tags (FATH)という新しいテストタイム防衛戦略を紹介する。
  論文  参考訳（メタデータ） (2024-10-28T20:02:47Z)
• SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
  アドリアルプロンプトは外部データソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。 我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。 本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を約0%に低下させる。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
  本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。 我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。 また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-02T06:13:36Z)
• Formalizing and Benchmarking Prompt Injection Attacks and Defenses [59.57908526441172]
  本稿では,迅速なインジェクション攻撃を形式化するフレームワークを提案する。 フレームワークに基づいて、既存のものを組み合わせることで、新たな攻撃を設計します。 我々の研究は、将来のプロンプトインジェクション攻撃と防御を定量的に評価するための共通のベンチマークを提供する。
  論文  参考訳（メタデータ） (2023-10-19T15:12:09Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。