論文の概要: LLM Agents can Autonomously Hack Websites
- arxiv url: http://arxiv.org/abs/2402.06664v2
- Date: Thu, 15 Feb 2024 01:20:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 23:25:24.162709
- Title: LLM Agents can Autonomously Hack Websites
- Title(参考訳): LLMエージェントはウェブサイトを自動ハックできる
- Authors: Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan, Daniel Kang
- Abstract要約: 大規模言語モデル(LLM)がエージェントとして自律的に機能することを示す。
本研究では,LLMエージェントがWebサイトを自律的にハックできることを示す。
また、GPT-4は、野生のウェブサイトの脆弱性を自律的に発見できることも示している。
- 参考スコア(独自算出の注目度): 3.5248694676821484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, large language models (LLMs) have become increasingly
capable and can now interact with tools (i.e., call functions), read documents,
and recursively call themselves. As a result, these LLMs can now function
autonomously as agents. With the rise in capabilities of these agents, recent
work has speculated on how LLM agents would affect cybersecurity. However, not
much is known about the offensive capabilities of LLM agents.
In this work, we show that LLM agents can autonomously hack websites,
performing tasks as complex as blind database schema extraction and SQL
injections without human feedback. Importantly, the agent does not need to know
the vulnerability beforehand. This capability is uniquely enabled by frontier
models that are highly capable of tool use and leveraging extended context.
Namely, we show that GPT-4 is capable of such hacks, but existing open-source
models are not. Finally, we show that GPT-4 is capable of autonomously finding
vulnerabilities in websites in the wild. Our findings raise questions about the
widespread deployment of LLMs.
- Abstract(参考訳): 近年、大きな言語モデル(LLM)はますます能力を高め、ツール(例えば関数を呼び出す)と対話し、文書を読み、再帰的に自身を呼び出すことができるようになった。
結果として、これらのLSMはエージェントとして自律的に機能する。
これらのエージェントの能力の増大に伴い、最近の研究はLLMエージェントがサイバーセキュリティにどのように影響するかを推測している。
しかし、LSM剤の攻撃能力についてはあまり知られていない。
本研究では, LLMエージェントがWebサイトを自律的にハックし, 視覚的データベーススキーマ抽出やSQLインジェクションのように複雑なタスクを人間のフィードバックなしに実行できることを示す。
重要なのは、エージェントが事前に脆弱性を知る必要がないことだ。
この機能は、ツールの使用と拡張コンテキストの活用を高度に有能なフロンティアモデルによって独特に実現されている。
すなわち、GPT-4はそのようなハックが可能であるが、既存のオープンソースモデルはそうではない。
最後に、gpt-4は野生のウェブサイトの脆弱性を自律的に発見できることを示した。
本研究は, LLMの広範な展開について疑問を投げかけるものである。
関連論文リスト
- Assessing LLMs in Malicious Code Deobfuscation of Real-world Malware Campaigns [7.776434991976473]
本稿では,大規模言語モデル(LLM)の難読化機能について検討する。
我々は,悪名高いEmotetマルウェアキャンペーンで使用されている現実の悪意のあるスクリプトを用いた4つのLSMを評価した。
以上の結果から,まだ完全には正確ではないものの,これらのペイロードを効率よく除去できるLCMが存在することが示唆された。
論文 参考訳(メタデータ) (2024-04-30T17:06:27Z) - LLM Agents can Autonomously Exploit One-day Vulnerabilities [2.3999111269325266]
LLMエージェントは現実世界のシステムにおいて,1日の脆弱性を自律的に悪用できることを示す。
我々の GPT-4 エージェントは高性能に CVE 記述を必要とする。
以上の結果から,高能率LLMエージェントの広範な展開に関する疑問が浮かび上がっている。
論文 参考訳(メタデータ) (2024-04-11T22:07:19Z) - EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
本稿では,より小型のRLエージェントが,弱体化している有用なスキルを学習するのを支援するために,EnvGenを提案する。
EnvGenで訓練された小さなRLエージェントは、GPT-4エージェントを含むSOTAメソッドよりも優れており、長い水平タスクをかなり高速に学習することができる。
論文 参考訳(メタデータ) (2024-03-18T17:51:16Z) - The Wolf Within: Covert Injection of Malice into MLLM Societies via an
MLLM Operative [57.84617923683107]
本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
MLLMの直接有害な出力生成とは違って,1つのMLLMエージェントを微妙に影響してプロンプトを生成する方法を示す。
この微妙で強力な間接的影響の手法は、MLLMに関連するセキュリティリスクを著しくエスカレーションしている。
論文 参考訳(メタデータ) (2024-02-20T23:08:21Z) - Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based
Agents [50.034049716274005]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
まず、エージェントバックドア攻撃の一般的な枠組みを定式化し、その後、エージェントバックドア攻撃の様々な形態について徹底的に分析する。
本稿では,2つの典型的なエージェント・タスクに対するエージェント・バックドア・アタックのバリエーションを実装するためのデータ中毒機構を提案する。
論文 参考訳(メタデータ) (2024-02-17T06:48:45Z) - GitAgent: Facilitating Autonomous Agent with GitHub by Tool Extension [81.44231422624055]
さまざまなタスクを実行できる外部ツールを備えた大規模言語モデル(LLM)に焦点が当てられている。
本稿では,GitHubから自動ツール拡張を実現するエージェントであるGitAgentを紹介する。
論文 参考訳(メタデータ) (2023-12-28T15:47:30Z) - AgentTuning: Enabling Generalized Agent Abilities for LLMs [35.74502545364593]
本稿では,オープンな大規模言語モデルのエージェント能力を高めるための,シンプルで汎用的なAgentTuningを提案する。
我々は、AgentInstructと一般的なドメインからのオープンソース命令を組み合わせることで、ハイブリッドなインストラクションチューニング戦略を採用する。
評価の結果,AgentTuning は汎用能力を損なうことなく LLM のエージェント機能を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-10-19T15:19:53Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳(メタデータ) (2023-08-25T14:02:12Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。