論文の概要: Demystifying RCE Vulnerabilities in LLM-Integrated Apps
- arxiv url: http://arxiv.org/abs/2309.02926v2
- Date: Sun, 8 Oct 2023 05:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 23:09:29.251711
- Title: Demystifying RCE Vulnerabilities in LLM-Integrated Apps
- Title(参考訳): LLM統合アプリケーションにおけるRAC脆弱性の軽減
- Authors: Tong Liu, Zizhuang Deng, Guozhu Meng, Yuekang Li, Kai Chen,
- Abstract要約: 大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著なポテンシャルを示している。
一部のフレームワークはリモートコード実行(RCE)脆弱性に悩まされており、アタッカーはプロンプトインジェクションを通じてアプリのサーバ上で任意のコードをリモートで実行できる。
1) LLMSmithと呼ばれる静的解析ベースのツールで,潜在的RCE脆弱性を検出するためにフレームワークのソースコードをスキャンし,2) LLM統合Webアプリの脆弱性を検証するために,プロンプトベースの自動テストアプローチを提案する。
- 参考スコア(独自算出の注目度): 20.01949990700702
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, Large Language Models (LLMs) have demonstrated remarkable potential across various downstream tasks. LLM-integrated frameworks, which serve as the essential infrastructure, have given rise to many LLM-integrated web apps. However, some of these frameworks suffer from Remote Code Execution (RCE) vulnerabilities, allowing attackers to execute arbitrary code on apps' servers remotely via prompt injections. Despite the severity of these vulnerabilities, no existing work has been conducted for a systematic investigation of them. This leaves a great challenge on how to detect vulnerabilities in frameworks as well as LLM-integrated apps in real-world scenarios. To fill this gap, we present two novel strategies, including 1) a static analysis-based tool called LLMSmith to scan the source code of the framework to detect potential RCE vulnerabilities and 2) a prompt-based automated testing approach to verify the vulnerability in LLM-integrated web apps. We discovered 13 vulnerabilities in 6 frameworks, including 12 RCE vulnerabilities and 1 arbitrary file read/write vulnerability. 11 of them are confirmed by the framework developers, resulting in the assignment of 7 CVE IDs. After testing 51 apps, we found vulnerabilities in 17 apps, 16 of which are vulnerable to RCE and 1 to SQL injection. We responsibly reported all 17 issues to the corresponding developers and received acknowledgments. Furthermore, we amplify the attack impact beyond achieving RCE by allowing attackers to exploit other app users (e.g. app responses hijacking, user API key leakage) without direct interaction between the attacker and the victim. Lastly, we propose some mitigating strategies for improving the security awareness of both framework and app developers, helping them to mitigate these risks effectively.
- Abstract(参考訳): 近年,Large Language Models (LLMs) は様々な下流タスクにおいて顕著な可能性を示している。
LLM統合フレームワークは、重要なインフラとして機能し、多くのLLM統合Webアプリを生み出している。
しかしながら、これらのフレームワークのいくつかはリモートコード実行(RCE)脆弱性に悩まされており、アタッカーはプロンプトインジェクションを通じて、アプリのサーバ上で任意のコードをリモートで実行できる。
これらの脆弱性の深刻さにもかかわらず、体系的な調査のために既存の作業は行われていない。
これにより、LLM統合されたアプリケーションだけでなく、フレームワークの脆弱性を検出する方法に大きな課題が残される。
このギャップを埋めるために、私たちは2つの新しい戦略を提示します。
1) LLMSmithと呼ばれる静的解析ベースのツールで、フレームワークのソースコードをスキャンして、潜在的なRCE脆弱性を検出します。
2) LLM統合Webアプリの脆弱性を検証するための,プロンプトベースの自動テスト手法。
12のRCE脆弱性と1つの任意のファイル読み取り/書き込み脆弱性を含む、13の脆弱性を6つのフレームワークで発見した。
フレームワーク開発者によって11が確認され、7つのCVE IDが割り当てられた。
51のアプリをテストした結果、17のアプリに脆弱性が見つかりました。
責任を持って17の問題を対応する開発者に報告し、承認を受けました。
さらに、攻撃者が他のアプリユーザー(例えば、アプリのレスポンスハイジャック、ユーザーAPIキーリーク)を攻撃者と被害者との直接のやりとりなしに利用できるようにすることで、RCEを達成すること以上の攻撃効果を増幅する。
最後に、フレームワークとアプリ開発者のセキュリティ意識を改善するための緩和戦略を提案し、これらのリスクを効果的に軽減するのに役立つ。
関連論文リスト
- LLM Agents can Autonomously Exploit One-day Vulnerabilities [2.3999111269325266]
LLMエージェントは現実世界のシステムにおいて,1日の脆弱性を自律的に悪用できることを示す。
我々の GPT-4 エージェントは高性能に CVE 記述を必要とする。
以上の結果から,高能率LLMエージェントの広範な展開に関する疑問が浮かび上がっている。
論文 参考訳(メタデータ) (2024-04-11T22:07:19Z) - EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。
Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。
10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
論文 参考訳(メタデータ) (2024-03-18T18:39:53Z) - Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based
Agents [50.034049716274005]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
まず、エージェントバックドア攻撃の一般的な枠組みを定式化し、その後、エージェントバックドア攻撃の様々な形態について徹底的に分析する。
本稿では,2つの典型的なエージェント・タスクに対するエージェント・バックドア・アタックのバリエーションを実装するためのデータ中毒機構を提案する。
論文 参考訳(メタデータ) (2024-02-17T06:48:45Z) - On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - LLbezpeky: Leveraging Large Language Models for Vulnerability Detection [10.330063887545398]
大規模言語モデル(LLM)は、人やプログラミング言語におけるセムナティクスを理解する大きな可能性を示している。
私たちは、脆弱性の特定と修正を支援するAI駆動ワークフローの構築に重点を置いています。
論文 参考訳(メタデータ) (2024-01-02T16:14:30Z) - How Far Have We Gone in Vulnerability Detection Using Large Language
Models [15.09461331135668]
包括的な脆弱性ベンチマークであるVulBenchを紹介します。
このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。
いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-21T08:20:39Z) - Identifying and Mitigating Vulnerabilities in LLM-Integrated
Applications [37.316238236750415]
LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。
本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。
悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。
我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
論文 参考訳(メタデータ) (2023-11-07T20:13:05Z) - Prompt Injection Attacks and Defenses in LLM-Integrated Applications [63.91918057570824]
本稿では,インジェクション攻撃とその防御を形式化する枠組みを提案する。
我々のフレームワークは、既存の攻撃を組み合わせることで、新たな攻撃を設計できる。
また,迅速なインジェクション攻撃に対する防御を体系化する枠組みを提案する。
論文 参考訳(メタデータ) (2023-10-19T15:12:09Z) - How well does LLM generate security tests? [8.454827764115631]
開発者は生産性とソフトウェア品質を改善するために、しばしばサードパーティライブラリ(Lib)の上にソフトウェアを構築する。
こうした攻撃をサプライチェーン攻撃と呼び、2022年には742%増加した。
セキュリティテストを生成するためにChatGPT-4.0を使用しました。
論文 参考訳(メタデータ) (2023-10-01T16:00:58Z) - When Authentication Is Not Enough: On the Security of Behavioral-Based Driver Authentication Systems [53.2306792009435]
本研究では,機械学習(ML)とディープラーニング(DL)アーキテクチャに基づく軽量な行動ベースドライバ認証システムの開発を行う。
我々は、新たな回避攻撃のクラスであるGAN-CANを初めて提案し、攻撃者が完璧な攻撃成功率でこれらのシステムをどのように活用できるかを示した。
コントリビューションを通じて、これらのシステムを安全に採用する実践者を支援し、車の盗難を軽減し、ドライバーのセキュリティを高める。
論文 参考訳(メタデータ) (2023-06-09T14:33:26Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。