論文の概要: Demystifying RCE Vulnerabilities in LLM-Integrated Apps

• arxiv url: http://arxiv.org/abs/2309.02926v4
• Date: Thu, 27 Feb 2025 02:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 15:15:45.226201
• Title: Demystifying RCE Vulnerabilities in LLM-Integrated Apps
• Title（参考訳）: LLM統合アプリケーションにおけるRAC脆弱性の軽減
• Authors: Tong Liu, Zizhuang Deng, Guozhu Meng, Yuekang Li, Kai Chen,
• Abstract要約: LangChainのようなフレームワークはLLM統合アプリ開発を支援し、カスタムアクションのためのコード実行ユーティリティ/APIを提供する。 これらの機能は理論的にはリモートコード実行(RCE)脆弱性を導入し、プロンプトインジェクションによるリモートコード実行を可能にする。 以前の研究では、これらのフレームワークのRCE脆弱性や、アプリケーションやエクスプロイトの影響を体系的に調査することはなかった。
• 参考スコア（独自算出の注目度）: 20.01949990700702
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs show promise in transforming software development, with a growing interest in integrating them into more intelligent apps. Frameworks like LangChain aid LLM-integrated app development, offering code execution utility/APIs for custom actions. However, these capabilities theoretically introduce Remote Code Execution (RCE) vulnerabilities, enabling remote code execution through prompt injections. No prior research systematically investigates these frameworks' RCE vulnerabilities or their impact on applications and exploitation consequences. Therefore, there is a huge research gap in this field. In this study, we propose LLMSmith to detect, validate and exploit the RCE vulnerabilities in LLM-integrated frameworks and apps. To achieve this goal, we develop two novel techniques, including 1) a lightweight static analysis to examine LLM integration mechanisms, and construct call chains to identify RCE vulnerabilities in frameworks; 2) a systematical prompt-based exploitation method to verify and exploit the found vulnerabilities in LLM-integrated apps. This technique involves various strategies to control LLM outputs, trigger RCE vulnerabilities and launch subsequent attacks. Our research has uncovered a total of 20 vulnerabilities in 11 LLM-integrated frameworks, comprising 19 RCE vulnerabilities and 1 arbitrary file read/write vulnerability. Of these, 17 have been confirmed by the framework developers, with 11 vulnerabilities being assigned CVE IDs. For the 51 apps potentially affected by RCE, we successfully executed attacks on 17 apps, 16 of which are vulnerable to RCE and 1 to SQL injection. Furthermore, we conduct a comprehensive analysis of these vulnerabilities and construct practical attacks to demonstrate the hazards in reality. Last, we propose several mitigation measures for both framework and app developers to counteract such attacks.
• Abstract（参考訳）: LLMはソフトウェア開発を変革する可能性を示しており、よりインテリジェントなアプリに統合することへの関心が高まっている。 LangChainのようなフレームワークはLLM統合アプリ開発を支援し、カスタムアクションのためのコード実行ユーティリティ/APIを提供する。 しかし、理論的にはRemote Code Execution (RCE)脆弱性を導入し、プロンプトインジェクションによるリモートコード実行を可能にしている。 以前の研究では、これらのフレームワークのRCE脆弱性や、アプリケーションやエクスプロイトの影響を体系的に調査することはなかった。 そのため、この分野には大きな研究ギャップがある。 本研究では,LLMSmith を用いて LLM 統合フレームワークおよびアプリケーションにおける RCE 脆弱性の検出,検証,活用を行う。 この目標を達成するために,我々は2つの新しい技術を開発した。 1) LLM 統合機構を検証し,フレームワーク内の RCE 脆弱性を識別するためのコールチェーンを構築するための軽量な静的解析。 2) LLM統合アプリケーションの脆弱性を検証し, 悪用するためのシステマティックなプロンプトベースのエクスプロイト手法。 この技術は、LSM出力を制御し、RCE脆弱性をトリガーし、その後の攻撃を起動する様々な戦略を含む。 我々の研究は、11のLLM統合フレームワークで合計20の脆弱性を発見し、19のRCE脆弱性と1の任意のファイル読み取り/書き込み脆弱性を含む。 そのうち17がフレームワーク開発者によって確認されており、11の脆弱性がCVE IDに割り当てられている。 RCEに影響を受ける可能性のある51のアプリに対して、私たちは17のアプリに対する攻撃をうまく実行しました。 さらに、これらの脆弱性を包括的に分析し、現実の危険を実証するために実用的な攻撃を構築する。 最後に、フレームワークとアプリ開発者の両方がこのような攻撃に対処するために、いくつかの緩和策を提案する。

関連論文リスト

• CVE-Bench: A Benchmark for AI Agents' Ability to Exploit Real-World Web Application Vulnerabilities [6.752938800468733]
  大規模言語モデル(LLM)エージェントは、サイバー攻撃を自律的に行う能力が高まっている。 既存のベンチマークは、抽象化されたCapture the Flagコンペティションに制限されているか、包括的なカバレッジが欠如しているため、不足している。 私たちはCVE-Benchを紹介します。CVE-Benchは、クリティカルシヴァリティ・コモン・脆弱性と露出に基づく、現実世界のサイバーセキュリティベンチマークです。
  論文  参考訳（メタデータ） (2025-03-21T17:32:32Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [63.603861880022954]
  本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。 我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
  論文  参考訳（メタデータ） (2024-10-24T06:36:12Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Figure it Out: Analyzing-based Jailbreak Attack on Large Language Models [21.252514293436437]
  大規模言語モデル(LLM)に対するジェイルブレイク攻撃に対する分析ベースジェイルブレイク(ABJ)を提案する。 ABJはGPT-4-turbo-0409上で94.8%の攻撃成功率(ASR)と1.06の攻撃効率(AE)を達成する。
  論文  参考訳（メタデータ） (2024-07-23T06:14:41Z)
• Assessing the Effectiveness of LLMs in Android Application Vulnerability Analysis [0.0]
  この研究は、最新のOpen Worldwide Application Security Project (OWASP) Mobile Top 10にリストされているAndroidコードの脆弱性を検出する9つの大きな言語モデル(LLM)の能力を比較する。 分析の結果,それぞれのLLMの長所と短所が明らかとなり,その性能に寄与する重要な要因が明らかになった。
  論文  参考訳（メタデータ） (2024-06-27T05:14:34Z)
• Towards Effectively Detecting and Explaining Vulnerabilities Using Large Language Models [17.96542494363619]
  大規模言語モデル(LLM)は、複雑なコンテキストを解釈する際、顕著な能力を示した。 本稿では,脆弱性の検出と説明の両面において,LSMの能力について検討する。 脆弱性説明のための特別な微調整の下で、LLMVulExpはコードの脆弱性の種類を検出するだけでなく、コードコンテキストを分析して原因、場所、修正提案を生成する。
  論文  参考訳（メタデータ） (2024-06-14T04:01:25Z)
• IRIS: LLM-Assisted Static Analysis for Detecting Security Vulnerabilities [14.188864624736938]
  大規模な言語モデル(LLM)は印象的なコード生成機能を示しているが、そのような脆弱性を検出するためにコードに対して複雑な推論を行うことはできない。 我々は,LLMと静的解析を体系的に組み合わせ,セキュリティ脆弱性検出のための全体リポジトリ推論を行うニューロシンボリックアプローチであるIRISを提案する。
  論文  参考訳（メタデータ） (2024-05-27T14:53:35Z)
• Securing the Open RAN Infrastructure: Exploring Vulnerabilities in Kubernetes Deployments [60.51751612363882]
  ソフトウェアベースのオープン無線アクセスネットワーク(RAN)システムのセキュリティへの影響について検討する。 我々は、Near Real-Time RAN Controller(RIC)クラスタをサポートするインフラストラクチャに潜在的な脆弱性と設定ミスがあることを強調します。
  論文  参考訳（メタデータ） (2024-05-03T07:18:45Z)
• Human-Imperceptible Retrieval Poisoning Attacks in LLM-Powered Applications [10.06789804722156]
  我々は,攻撃者がRAGプロセス中に悪意のある応答を誘導する,検索中毒と呼ばれるLSMベースのアプリケーションに対する新たな脅威を明らかにした。 我々の予備実験は、攻撃者が88.33%の成功率でLLMを誤解させ、実世界のアプリケーションで66.67%の成功率を達成することを示唆している。
  論文  参考訳（メタデータ） (2024-04-26T07:11:18Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Identifying and Mitigating Vulnerabilities in LLM-Integrated Applications [37.316238236750415]
  LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。 本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。 悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。 我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
  論文  参考訳（メタデータ） (2023-11-07T20:13:05Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。