論文の概要: AutoAttacker: A Large Language Model Guided System to Implement
Automatic Cyber-attacks
- arxiv url: http://arxiv.org/abs/2403.01038v1
- Date: Sat, 2 Mar 2024 00:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 15:26:05.194476
- Title: AutoAttacker: A Large Language Model Guided System to Implement
Automatic Cyber-attacks
- Title(参考訳): AutoAttacker: 自動サイバー攻撃を実装する大規模言語モデルガイドシステム
- Authors: Jiacen Xu, Jack W. Stokes, Geoff McDonald, Xuesong Bai, David
Marshall, Siyue Wang, Adith Swaminathan, Zhou Li
- Abstract要約: 大規模言語モデル (LLM) は、自然言語処理における印象的な結果を示している。
LLMは必然的に前進するので、前と後の両方の攻撃段階を自動化できるかもしれない。
この研究は、防衛システムやチームが、野生で使用する前に予防的に新しい攻撃行動を検出することを学ぶのに役立つ。
- 参考スコア(独自算出の注目度): 13.955084410934694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated impressive results on natural
language tasks, and security researchers are beginning to employ them in both
offensive and defensive systems. In cyber-security, there have been multiple
research efforts that utilize LLMs focusing on the pre-breach stage of attacks
like phishing and malware generation. However, so far there lacks a
comprehensive study regarding whether LLM-based systems can be leveraged to
simulate the post-breach stage of attacks that are typically human-operated, or
"hands-on-keyboard" attacks, under various attack techniques and environments.
As LLMs inevitably advance, they may be able to automate both the pre- and
post-breach attack stages. This shift may transform organizational attacks from
rare, expert-led events to frequent, automated operations requiring no
expertise and executed at automation speed and scale. This risks fundamentally
changing global computer security and correspondingly causing substantial
economic impacts, and a goal of this work is to better understand these risks
now so we can better prepare for these inevitable ever-more-capable LLMs on the
horizon. On the immediate impact side, this research serves three purposes.
First, an automated LLM-based, post-breach exploitation framework can help
analysts quickly test and continually improve their organization's network
security posture against previously unseen attacks. Second, an LLM-based
penetration test system can extend the effectiveness of red teams with a
limited number of human analysts. Finally, this research can help defensive
systems and teams learn to detect novel attack behaviors preemptively before
their use in the wild....
- Abstract(参考訳): 大規模言語モデル(llm)は自然言語タスクにおいて印象的な結果を示しており、セキュリティ研究者は攻撃システムと防御システムの両方でそれらを採用し始めている。
サイバーセキュリティでは、フィッシングやマルウェア生成といった攻撃の前段階に焦点をあてて、LSMを利用する複数の研究努力がなされている。
しかし、これまでのところ、様々な攻撃技術や環境下での人手による攻撃や「ハンズ・オン・キーボード」攻撃の後の段階をシミュレートするためにLLMベースのシステムが活用できるかどうかに関する包括的な研究はない。
LLMは必然的に前進するので、前と後の両方の攻撃段階を自動化できるかもしれない。
このシフトは、組織の攻撃を、希少で専門家主導のイベントから、専門知識を必要とせず、自動化のスピードと規模で実行される頻繁な自動化オペレーションに転換する可能性がある。
このリスクは、世界規模のコンピュータセキュリティを根本的に変化させ、それに応じて経済的な影響を引き起こす。そして、この研究の目標は、これらのリスクをよりよく理解し、今後、避けられない、より高機能なllmに備えることである。
直接的な影響として、この研究は3つの目的を果たす。
第一に、自動LLMベースのポストブリーチエクスプロイトフレームワークは、アナリストが前例のない攻撃に対する組織のネットワークセキュリティ姿勢を迅速にテストし、継続的に改善するのに役立つ。
第2に、llmベースの侵入テストシステムは、少数の人間アナリストでレッドチームの有効性を伸ばすことができる。
最後に、この研究は防衛システムとチームが、野生で使用する前に先制攻撃行動を検出することを学ぶのに役立つ。
関連論文リスト
- Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based
Agents [50.034049716274005]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
まず、エージェントバックドア攻撃の一般的な枠組みを定式化し、その後、エージェントバックドア攻撃の様々な形態について徹底的に分析する。
本稿では,2つの典型的なエージェント・タスクに対するエージェント・バックドア・アタックのバリエーションを実装するためのデータ中毒機構を提案する。
論文 参考訳(メタデータ) (2024-02-17T06:48:45Z) - On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Backdoor Activation Attack: Attack Large Language Models using
Activation Steering for Safety-Alignment [36.91218391728405]
本稿では,Large Language Modelsの安全性アライメントの脆弱性について検討する。
LLMの既存の攻撃方法は、有毒な訓練データや悪意のあるプロンプトの注入に依存している。
最適化を必要とせず, ステアリングベクターによるモデル動作の修正に成功した最近の成功に触発されて, リピートLLMにおけるその有効性に着想を得た。
実験の結果,アクティベーションアタックは極めて効果的であり,攻撃効率のオーバーヘッドはほとんどあるいは全く生じないことが判明した。
論文 参考訳(メタデータ) (2023-11-15T23:07:40Z) - Attack Prompt Generation for Red Teaming and Defending Large Language
Models [70.157691818224]
大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。
本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-19T06:15:05Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳(メタデータ) (2023-09-01T17:59:44Z) - Adv-Bot: Realistic Adversarial Botnet Attacks against Network Intrusion
Detection Systems [0.7829352305480285]
最近、機械学習ベースのセキュリティシステムに対する攻撃の可能性について調査する研究者が増えている。
本研究では,ネットワークによる侵入検知システムに対する敵攻撃,特に回避攻撃の実現可能性について検討した。
私たちのゴールは、意図した悪意のある機能をすべて実行しながら、検出を回避できる敵ボットネットトラフィックを作ることです。
論文 参考訳(メタデータ) (2023-03-12T14:01:00Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳(メタデータ) (2021-11-23T23:42:16Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳(メタデータ) (2020-07-05T18:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。