論文の概要: LLMs Killed the Script Kiddie: How Agents Supported by Large Language
Models Change the Landscape of Network Threat Testing
- arxiv url: http://arxiv.org/abs/2310.06936v1
- Date: Tue, 10 Oct 2023 18:49:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 02:54:32.881641
- Title: LLMs Killed the Script Kiddie: How Agents Supported by Large Language
Models Change the Landscape of Network Threat Testing
- Title(参考訳): llmsがスクリプトキッディを殺害:大規模言語モデルでサポートされたエージェントがネットワーク脅威テストの展望を変える
- Authors: Stephen Moskal, Sam Laney, Erik Hemberg, Una-May O'Reilly
- Abstract要約: 我々は、脅威を推論し、ツールに関する情報を生成し、サイバーキャンペーンを自動化するために、Large Language Modelsの可能性を探る。
我々は、脅威キャンペーンの1つのアクションに対する計画-実行-報告ループと、マルチアクションキャンペーンのシーケンシャルな決定プロセスを指示するプロンプト連鎖設計の技術的アプローチを提案する。
- 参考スコア(独自算出の注目度): 4.899163798406851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we explore the potential of Large Language Models (LLMs) to
reason about threats, generate information about tools, and automate cyber
campaigns. We begin with a manual exploration of LLMs in supporting specific
threat-related actions and decisions. We proceed by automating the decision
process in a cyber campaign. We present prompt engineering approaches for a
plan-act-report loop for one action of a threat campaign and and a prompt
chaining design that directs the sequential decision process of a multi-action
campaign. We assess the extent of LLM's cyber-specific knowledge w.r.t the
short campaign we demonstrate and provide insights into prompt design for
eliciting actionable responses. We discuss the potential impact of LLMs on the
threat landscape and the ethical considerations of using LLMs for accelerating
threat actor capabilities. We report a promising, yet concerning, application
of generative AI to cyber threats. However, the LLM's capabilities to deal with
more complex networks, sophisticated vulnerabilities, and the sensitivity of
prompts are open questions. This research should spur deliberations over the
inevitable advancements in LLM-supported cyber adversarial landscape.
- Abstract(参考訳): 本稿では,脅威を推論し,ツールに関する情報を生成し,サイバーキャンペーンを自動化するLarge Language Models(LLM)の可能性を検討する。
まず、特定の脅威に関連する行動や決定を支援するために、LSMを手動で調査することから始めます。
サイバーキャンペーンにおける意思決定プロセスの自動化を進めます。
本稿では,脅威キャンペーンの1つのアクションに対する計画-行動-報告ループと,マルチアクションキャンペーンの逐次決定過程を指示する迅速な連鎖設計について述べる。
LLMのサイバー特有の知識の程度を、我々がデモした短いキャンペーンで評価し、実行可能な応答を引き出すための迅速な設計に関する洞察を提供する。
我々は,脅威環境に対するllmの潜在的影響と,脅威アクタ能力の促進にllmを使用する倫理的考察について論じる。
我々は、創造的AIをサイバー脅威に応用する有望だが、それについて報告する。
しかし、より複雑なネットワーク、高度な脆弱性、およびプロンプトの感度を扱うLLMの能力は、オープンな疑問である。
この研究は、LLMが支援するサイバー敵の状況における必然的な進歩に関する議論を喚起するだろう。
関連論文リスト
- The Wolf Within: Covert Injection of Malice into MLLM Societies via an
MLLM Operative [57.84617923683107]
本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
MLLMの直接有害な出力生成とは違って,1つのMLLMエージェントを微妙に影響してプロンプトを生成する方法を示す。
この微妙で強力な間接的影響の手法は、MLLMに関連するセキュリティリスクを著しくエスカレーションしている。
論文 参考訳(メタデータ) (2024-02-20T23:08:21Z) - Leveraging the Context through Multi-Round Interactions for Jailbreaking
Attacks [60.7432588386185]
大規模言語モデル(LLM)は、脱獄攻撃の影響を受けやすい。
脱獄攻撃は、攻撃クエリを微調整することで有害な情報を抽出することを目的としている。
我々は、コンテキストインタラクションアタックと呼ばれる新しい攻撃形式に焦点を当てる。
論文 参考訳(メタデータ) (2024-02-14T13:45:19Z) - Large Language Models in Cybersecurity: State-of-the-Art [4.990712773805833]
大規模言語モデル(LLM)の台頭は、私たちの知性の理解に革命をもたらした。
本研究は, サイバーセキュリティの領域におけるLLMの防衛的, 敵的応用の徹底的な評価を, 既存の文献を考察した。
論文 参考訳(メタデータ) (2024-01-30T16:55:25Z) - Identifying and Mitigating Vulnerabilities in LLM-Integrated
Applications [37.316238236750415]
LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。
本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。
悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。
我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
論文 参考訳(メタデータ) (2023-11-07T20:13:05Z) - Attack Prompt Generation for Red Teaming and Defending Large Language
Models [70.157691818224]
大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。
本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-19T06:15:05Z) - RatGPT: Turning online LLMs into Proxies for Malware Attacks [0.0]
本稿では、ChatGPTが検出を回避しつつ悪意あるソフトウェアの普及に使用される概念実証について述べる。
我々はまた、検出されていないまま攻撃を成功させるために、一般的なアプローチと重要な要素を提示する。
論文 参考訳(メタデータ) (2023-08-17T20:54:39Z) - LLM Censorship: A Machine Learning Challenge or a Computer Security
Problem? [52.71988102039535]
セマンティック検閲は決定不能な問題として認識できることを示す。
我々は、知識のある攻撃者が不寛容なアウトプットを再構築できるため、これらの課題はセマンティックな検閲を超えて拡張されていると論じる。
論文 参考訳(メタデータ) (2023-07-20T09:25:02Z) - On the Uses of Large Language Models to Interpret Ambiguous Cyberattack
Descriptions [1.6317061277457001]
戦術、テクニック、手順(TTP)は、攻撃者が脆弱性を悪用する方法と理由を説明することである。
あるセキュリティ専門家によって書かれたTTP記述は、別のセキュリティ専門家によって非常に異なる解釈が可能であるため、サイバーセキュリティ操作の混乱につながる。
AIの進歩は、サイバーオペレーションにおけるさまざまなタスクを支援するために自然言語処理(NLP)アルゴリズムの使用の増加につながっている。
論文 参考訳(メタデータ) (2023-06-24T21:08:15Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Automating Cyber Threat Hunting Using NLP, Automated Query Generation,
and Genetic Perturbation [8.669461942767098]
We have developed the WILEE system that cyber threat hunting by translating high-level threat descriptions into many possible concrete implementation。
高レベル)抽象的および(低レベル)具体的な実装は、カスタムドメイン固有の言語を使用して表現される。
WILEEは、DSLで書かれた他のロジックと共に実装を使用して、クエリを自動的に生成し、潜在的な敵に結びついた仮説を確認(または否定)する。
論文 参考訳(メタデータ) (2021-04-23T13:19:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。