Fugu-MT 論文翻訳(概要): LLM Agents can Autonomously Exploit One-day Vulnerabilities

論文の概要: LLM Agents can Autonomously Exploit One-day Vulnerabilities

arxiv url: http://arxiv.org/abs/2404.08144v1
Date: Thu, 11 Apr 2024 22:07:19 GMT
ステータス: 処理完了
システム内更新日: 2024-04-15 16:24:45.362021
Title: LLM Agents can Autonomously Exploit One-day Vulnerabilities
Title（参考訳）: LLMエージェントは1日の脆弱性を自律的に発破できる
Authors: Richard Fang, Rohan Bindu, Akul Gupta, Daniel Kang,
Abstract要約: LLMエージェントは現実世界のシステムにおいて,1日の脆弱性を自律的に悪用できることを示す。我々の GPT-4 エージェントは高性能に CVE 記述を必要とする。以上の結果から,高能率LLMエージェントの広範な展開に関する疑問が浮かび上がっている。
参考スコア（独自算出の注目度）: 2.3999111269325266
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLMs have becoming increasingly powerful, both in their benign and malicious uses. With the increase in capabilities, researchers have been increasingly interested in their ability to exploit cybersecurity vulnerabilities. In particular, recent work has conducted preliminary studies on the ability of LLM agents to autonomously hack websites. However, these studies are limited to simple vulnerabilities. In this work, we show that LLM agents can autonomously exploit one-day vulnerabilities in real-world systems. To show this, we collected a dataset of 15 one-day vulnerabilities that include ones categorized as critical severity in the CVE description. When given the CVE description, GPT-4 is capable of exploiting 87% of these vulnerabilities compared to 0% for every other model we test (GPT-3.5, open-source LLMs) and open-source vulnerability scanners (ZAP and Metasploit). Fortunately, our GPT-4 agent requires the CVE description for high performance: without the description, GPT-4 can exploit only 7% of the vulnerabilities. Our findings raise questions around the widespread deployment of highly capable LLM agents.
Abstract（参考訳）: LLMは、良心と悪意のある使用の両方において、ますます強力になっています。能力の増大に伴い、研究者はサイバーセキュリティの脆弱性を悪用する能力にますます関心を寄せている。特に、最近の研究は、LLMエージェントがウェブサイトを自律的にハックする能力について予備的な研究を行っている。しかし、これらの研究は単純な脆弱性に限定されている。本研究では,LLMエージェントが実世界のシステムにおいて,1日の脆弱性を自律的に悪用できることを示す。これを示すために、私たちは、CVE記述の致命的な重大度に分類される脆弱性を含む、1日15の脆弱性のデータセットを収集しました。 CVEの説明を踏まえると、GPT-4は、テスト対象の他のモデル(GPT-3.5、オープンソースLLM)とオープンソースの脆弱性スキャナ(ZAP、Metasploit)の0%と比較して、これらの脆弱性の87%を活用できる。幸いなことに、当社のGPT-4エージェントは、高性能のためにCVE記述を必要とする。以上の結果から,高能率LLMエージェントの広範な展開に関する疑問が浮かび上がっている。

関連論文リスト

Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [63.603861880022954]
本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
論文参考訳（メタデータ） (2024-10-24T06:36:12Z)
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
論文参考訳（メタデータ） (2024-10-11T17:39:22Z)
See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
論文参考訳（メタデータ） (2024-08-16T19:01:52Z)
Can Large Language Models Automatically Jailbreak GPT-4V? [64.04997365446468]
本稿では,迅速な最適化にインスパイアされた革新的な自動ジェイルブレイク技術であるAutoJailbreakを紹介する。実験の結果,AutoJailbreakは従来の手法をはるかに上回り,95.3%を超えるアタック成功率(ASR)を達成した。この研究は、GPT-4Vのセキュリティ強化に光を当て、LCMがGPT-4Vの完全性向上に活用される可能性を強調している。
論文参考訳（メタデータ） (2024-07-23T17:50:45Z)
Teams of LLM Agents can Exploit Zero-Day Vulnerabilities [3.2855317710497625]
LLMエージェントのチームが実世界のゼロデイ脆弱性を悪用できることを示します。我々は,サブエージェントを起動可能な計画エージェントを備えたエージェントシステムHPTSAを紹介する。我々は15の現実世界の脆弱性のベンチマークを構築し、エージェントのチームが以前の作業よりも4.5$times$で改善できることを示します。
論文参考訳（メタデータ） (2024-06-02T16:25:26Z)
LLM Agents can Autonomously Hack Websites [3.5248694676821484]
大規模言語モデル(LLM)がエージェントとして自律的に機能することを示す。本研究では,LLMエージェントがWebサイトを自律的にハックできることを示す。また、GPT-4は、野生のウェブサイトの脆弱性を自律的に発見できることも示している。
論文参考訳（メタデータ） (2024-02-06T14:46:08Z)
LLM4Vuln: A Unified Evaluation Framework for Decoupling and Enhancing LLMs' Vulnerability Reasoning [20.463200377413255]
大規模言語モデル(LLM)は、脆弱性検出を含む様々なタスクにおいて大きな可能性を証明している。本稿では,LLMの脆弱性推論を,脆弱性知識の採用など他の機能から分離することを目的とする。我々は,SolidityとJavaにおける97の地層破壊脆弱性と97の非脆弱性ケースを用いて実験を行った。
論文参考訳（メタデータ） (2024-01-29T14:32:27Z)
LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks [0.0]
言語モデル(LLM)と浸透試験の共通点について検討する。本稿では,LLMの(倫理的)ハッキングに対する有効性を評価するための,完全自動特権エスカレーションツールを提案する。我々は,異なるコンテキストサイズ,コンテキスト内学習,任意の高レベルメカニズム,メモリ管理技術の影響を分析する。
論文参考訳（メタデータ） (2023-10-17T17:15:41Z)
Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文参考訳（メタデータ） (2023-08-25T14:02:12Z)
Can Large Language Models Find And Fix Vulnerable Software? [0.0]
GPT-4は、その脆弱性の約4倍の脆弱性を同定した。各脆弱性に対して実行可能な修正を提供し、偽陽性率の低いことを証明した。 GPT-4のコード修正により脆弱性の90%が減少し、コード行数はわずか11%増加した。
論文参考訳（メタデータ） (2023-08-20T19:33:12Z)
Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。