論文の概要: Demystifying RCE Vulnerabilities in LLM-Integrated Apps

• arxiv url: http://arxiv.org/abs/2309.02926v3
• Date: Wed, 20 Nov 2024 06:01:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:09:17.092397
• Title: Demystifying RCE Vulnerabilities in LLM-Integrated Apps
• Title（参考訳）: LLM統合アプリケーションにおけるRAC脆弱性の軽減
• Authors: Tong Liu, Zizhuang Deng, Guozhu Meng, Yuekang Li, Kai Chen,
• Abstract要約: LangChainのようなフレームワークはLLM統合アプリ開発を支援し、カスタムアクションのためのコード実行ユーティリティ/APIを提供する。 これらの機能は理論的にはリモートコード実行(RCE)脆弱性を導入し、プロンプトインジェクションによるリモートコード実行を可能にする。 以前の研究では、これらのフレームワークのRCE脆弱性や、アプリケーションやエクスプロイトの影響を体系的に調査することはなかった。
• 参考スコア（独自算出の注目度）: 20.01949990700702
• License:
• Abstract: LLMs show promise in transforming software development, with a growing interest in integrating them into more intelligent apps. Frameworks like LangChain aid LLM-integrated app development, offering code execution utility/APIs for custom actions. However, these capabilities theoretically introduce Remote Code Execution (RCE) vulnerabilities, enabling remote code execution through prompt injections. No prior research systematically investigates these frameworks' RCE vulnerabilities or their impact on applications and exploitation consequences. Therefore, there is a huge research gap in this field. In this study, we propose LLMSmith to detect, validate and exploit the RCE vulnerabilities in LLM-integrated frameworks and apps. To achieve this goal, we develop two novel techniques, including 1) a lightweight static analysis to examine LLM integration mechanisms, and construct call chains to identify RCE vulnerabilities in frameworks; 2) a systematical prompt-based exploitation method to verify and exploit the found vulnerabilities in LLM-integrated apps. This technique involves various strategies to control LLM outputs, trigger RCE vulnerabilities and launch subsequent attacks. Our research has uncovered a total of 20 vulnerabilities in 11 LLM-integrated frameworks, comprising 19 RCE vulnerabilities and 1 arbitrary file read/write vulnerability. Of these, 17 have been confirmed by the framework developers, with 11 vulnerabilities being assigned CVE IDs. For the 51 apps potentially affected by RCE, we successfully executed attacks on 17 apps, 16 of which are vulnerable to RCE and 1 to SQL injection. Furthermore, we conduct a comprehensive analysis of these vulnerabilities and construct practical attacks to demonstrate the hazards in reality. Last, we propose several mitigation measures for both framework and app developers to counteract such attacks.
• Abstract（参考訳）: LLMはソフトウェア開発を変革する可能性を示しており、よりインテリジェントなアプリに統合することへの関心が高まっている。 LangChainのようなフレームワークはLLM統合アプリ開発を支援し、カスタムアクションのためのコード実行ユーティリティ/APIを提供する。 しかし、理論的にはRemote Code Execution (RCE)脆弱性を導入し、プロンプトインジェクションによるリモートコード実行を可能にしている。 以前の研究では、これらのフレームワークのRCE脆弱性や、アプリケーションやエクスプロイトの影響を体系的に調査することはなかった。 そのため、この分野には大きな研究ギャップがある。 本研究では,LLMSmith を用いて LLM 統合フレームワークおよびアプリケーションにおける RCE 脆弱性の検出,検証,活用を行う。 この目標を達成するために,我々は2つの新しい技術を開発した。 1) LLM 統合機構を検証し,フレームワーク内の RCE 脆弱性を識別するためのコールチェーンを構築するための軽量な静的解析。 2) LLM統合アプリケーションの脆弱性を検証し, 悪用するためのシステマティックなプロンプトベースのエクスプロイト手法。 この技術は、LSM出力を制御し、RCE脆弱性をトリガーし、その後の攻撃を起動する様々な戦略を含む。 我々の研究は、11のLLM統合フレームワークで合計20の脆弱性を発見し、19のRCE脆弱性と1の任意のファイル読み取り/書き込み脆弱性を含む。 そのうち17がフレームワーク開発者によって確認されており、11の脆弱性がCVE IDに割り当てられている。 RCEに影響を受ける可能性のある51のアプリに対して、私たちは17のアプリに対する攻撃をうまく実行しました。 さらに、これらの脆弱性を包括的に分析し、現実の危険を実証するために実用的な攻撃を構築する。 最後に、フレームワークとアプリ開発者の両方がこのような攻撃に対処するために、いくつかの緩和策を提案する。

関連論文リスト

• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [63.603861880022954]
  本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。 我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
  論文  参考訳（メタデータ） (2024-10-24T06:36:12Z)
• Breaking Agents: Compromising Autonomous LLM Agents Through Malfunction Amplification [35.16099878559559]
  大規模言語モデル(LLM)は大きな発展を遂げ、現実世界のアプリケーションにデプロイされている。 エージェントが繰り返しまたは無関係なアクションを実行することを誤解させることで誤動作を引き起こす新しいタイプの攻撃を導入する。 実験の結果、これらの攻撃は複数のシナリオで80%以上の障害率を誘導できることがわかった。
  論文  参考訳（メタデータ） (2024-07-30T14:35:31Z)
• Comparison of Static Application Security Testing Tools and Large Language Models for Repo-level Vulnerability Detection [11.13802281700894]
  静的アプリケーションセキュリティテスト(SAST)は通常、セキュリティ脆弱性のソースコードをスキャンするために使用される。 ディープラーニング(DL)ベースの手法は、ソフトウェア脆弱性検出の可能性を実証している。 本稿では,ソフトウェア脆弱性を検出するために,15種類のSASTツールと12種類の最先端のオープンソースLLMを比較した。
  論文  参考訳（メタデータ） (2024-07-23T07:21:14Z)
• Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks [89.54736699767315]
  我々は、LLMの有害な知識を直接解き放つことは、脱獄攻撃から守るためのより効果的な方法になり得ると推測する。 Vicuna-7Bの攻撃成功率(ASR)は82.6%から7.7%に低下した。 Llama2-7B-Chatは、約0.1Mの安全アライメントサンプルで微調整されているが、追加の安全システムプロンプトの下でも21.9%のASRを持つ。
  論文  参考訳（メタデータ） (2024-07-03T07:14:05Z)
• Assessing the Effectiveness of LLMs in Android Application Vulnerability Analysis [0.0]
  この研究は、最新のOpen Worldwide Application Security Project (OWASP) Mobile Top 10にリストされているAndroidコードの脆弱性を検出する9つの大きな言語モデル(LLM)の能力を比較する。 分析の結果,それぞれのLLMの長所と短所が明らかとなり,その性能に寄与する重要な要因が明らかになった。
  論文  参考訳（メタデータ） (2024-06-27T05:14:34Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• LLM Agents can Autonomously Exploit One-day Vulnerabilities [2.3999111269325266]
  LLMエージェントは現実世界のシステムにおいて,1日の脆弱性を自律的に悪用できることを示す。 我々の GPT-4 エージェントは高性能に CVE 記述を必要とする。 以上の結果から,高能率LLMエージェントの広範な展開に関する疑問が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-04-11T22:07:19Z)
• LLbezpeky: Leveraging Large Language Models for Vulnerability Detection [10.330063887545398]
  大規模言語モデル(LLM)は、人やプログラミング言語におけるセムナティクスを理解する大きな可能性を示している。 私たちは、脆弱性の特定と修正を支援するAI駆動ワークフローの構築に重点を置いています。
  論文  参考訳（メタデータ） (2024-01-02T16:14:30Z)
• When Authentication Is Not Enough: On the Security of Behavioral-Based Driver Authentication Systems [53.2306792009435]
  我々はランダムフォレストとリカレントニューラルネットワークアーキテクチャに基づく2つの軽量ドライバ認証システムを開発した。 我々は,SMARTCANとGANCANという2つの新しいエスケープアタックを開発することで,これらのシステムに対する攻撃を最初に提案する。 コントリビューションを通じて、これらのシステムを安全に採用する実践者を支援し、車の盗難を軽減し、ドライバーのセキュリティを高める。
  論文  参考訳（メタデータ） (2023-06-09T14:33:26Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。