論文の概要: RatGPT: Turning online LLMs into Proxies for Malware Attacks
- arxiv url: http://arxiv.org/abs/2308.09183v2
- Date: Thu, 7 Sep 2023 06:41:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 16:16:42.251385
- Title: RatGPT: Turning online LLMs into Proxies for Malware Attacks
- Title(参考訳): RatGPT:オンラインLLMをマルウェア攻撃のプロキシに変える
- Authors: Mika Beckerich, Laura Plein, Sergio Coronado
- Abstract要約: 本稿では、ChatGPTが検出を回避しつつ悪意あるソフトウェアの普及に使用される概念実証について述べる。
我々はまた、検出されていないまま攻撃を成功させるために、一般的なアプローチと重要な要素を提示する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The evolution of Generative AI and the capabilities of the newly released
Large Language Models (LLMs) open new opportunities in software engineering.
However, they also lead to new challenges in cybersecurity. Recently,
researchers have shown the possibilities of using LLMs such as ChatGPT to
generate malicious content that can directly be exploited or guide
inexperienced hackers to weaponize tools and code. These studies covered
scenarios that still require the attacker to be in the middle of the loop. In
this study, we leverage openly available plugins and use an LLM as proxy
between the attacker and the victim. We deliver a proof-of-concept where
ChatGPT is used for the dissemination of malicious software while evading
detection, alongside establishing the communication to a command and control
(C2) server to receive commands to interact with a victim's system. Finally, we
present the general approach as well as essential elements in order to stay
undetected and make the attack a success. This proof-of-concept highlights
significant cybersecurity issues with openly available plugins and LLMs, which
require the development of security guidelines, controls, and mitigation
strategies.
- Abstract(参考訳): 生成型aiの進化と新しくリリースされた大言語モデル(llm)の能力は、ソフトウェア工学における新たな機会を開く。
しかし、サイバーセキュリティの新たな課題にも繋がる。
最近、研究者はChatGPTのようなLSMを使って、直接悪用したり、経験の浅いハッカーを誘導してツールやコードを武器化する悪意のあるコンテンツを生成する可能性を示した。
これらの研究は、攻撃者がループの真ん中にいる必要があるシナリオをカバーした。
本研究では,オープンなプラグインを活用し,LLMを攻撃者と被害者の間のプロキシとして利用する。
本稿では,ChatGPTを悪質なソフトウェアの普及に利用し,検出を回避し,コマンド・コントロール(C2)サーバへの通信を確立し,被害者のシステムと対話するコマンドを受信する概念実証を行う。
最後に,検出されていない状態で攻撃を成功させるために,一般的なアプローチと必須要素を提示する。
この概念実証は、公開可能なプラグインとLLMによる重要なサイバーセキュリティ問題を強調しており、セキュリティガイドライン、コントロール、緩和戦略の開発が必要である。
関連論文リスト
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning [88.26832208495078]
ホワイトハウス人工知能に関する大統領令は、生物、サイバー、化学兵器の開発において悪意あるアクターに力を与える大きな言語モデル(LLM)のリスクを強調している。
現在の評価は非公開であり、リスク軽減のさらなる研究を妨げている。
Weapons of Mass Destruction Proxyベンチマークを公開しています。
論文 参考訳(メタデータ) (2024-03-05T18:59:35Z) - AutoAttacker: A Large Language Model Guided System to Implement
Automatic Cyber-attacks [13.955084410934694]
大規模言語モデル (LLM) は、自然言語処理における印象的な結果を示している。
LLMは必然的に前進するので、前と後の両方の攻撃段階を自動化できるかもしれない。
この研究は、防衛システムやチームが、野生で使用する前に予防的に新しい攻撃行動を検出することを学ぶのに役立つ。
論文 参考訳(メタデータ) (2024-03-02T00:10:45Z) - Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based
Agents [50.034049716274005]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
まず、エージェントバックドア攻撃の一般的な枠組みを定式化し、その後、エージェントバックドア攻撃の様々な形態について徹底的に分析する。
本稿では,2つの典型的なエージェント・タスクに対するエージェント・バックドア・アタックのバリエーションを実装するためのデータ中毒機構を提案する。
論文 参考訳(メタデータ) (2024-02-17T06:48:45Z) - Identifying and Mitigating Vulnerabilities in LLM-Integrated
Applications [37.316238236750415]
LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。
本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。
悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。
我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
論文 参考訳(メタデータ) (2023-11-07T20:13:05Z) - Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of
LLMs through a Global Scale Prompt Hacking Competition [8.560772603154545]
大規模な言語モデルは、インジェクションとジェイルブレイクの即時実行に対して脆弱である。
われわれはグローバルなプロンプト・ハッキング・コンペティションを開催する。
我々は,600K以上の逆のプロンプトを,最先端の3つのLDMに対して提案する。
論文 参考訳(メタデータ) (2023-10-24T18:18:11Z) - Evaluating LLMs for Privilege-Escalation Scenarios [0.0]
侵入テストにより、組織はシステム内の脆弱性を積極的に識別し、修正することができる。
浸透試験の領域における最近の進歩の1つは言語モデル(LLM)の利用である。
LLMと浸透試験の交わりを探索し、私的エスカレーションの文脈におけるそれらの能力と課題について考察する。
論文 参考訳(メタデータ) (2023-10-17T17:15:41Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard
Security Attacks [67.86285142381644]
命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。
命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。
本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
論文 参考訳(メタデータ) (2023-02-11T15:57:44Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳(メタデータ) (2020-07-05T18:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。