論文の概要: RatGPT: Turning online LLMs into Proxies for Malware Attacks
- arxiv url: http://arxiv.org/abs/2308.09183v1
- Date: Thu, 17 Aug 2023 20:54:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 15:27:24.416565
- Title: RatGPT: Turning online LLMs into Proxies for Malware Attacks
- Title(参考訳): RatGPT:オンラインLLMをマルウェア攻撃のプロキシに変える
- Authors: Mika Beckerich, Laura Plein, Sergio Coronado
- Abstract要約: オープンに利用可能なプラグインを活用し、攻撃者と被害者の間のプロキシとしてLLMを使用します。
本稿では、ChatGPTが検出を回避しつつ悪意あるソフトウェアの普及に使用される概念実証を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The evolution of Generative AI and the capabilities of the newly released
Large Language Models (LLMs) open new opportunities in software engineering.
However, they also lead to new challenges in cybersecurity. Recently,
researchers have shown the possibilities of using LLMs such as ChatGPT to
generate malicious content that can directly be exploited or guide
inexperienced hackers to weaponize tools and code. Those studies covered
scenarios that still require the attacker in the middle of the loop. In this
study, we leverage openly available plugins and use an LLM as proxy between the
attacker and the victim. We deliver a proof-of-concept where ChatGPT is used
for the dissemination of malicious software while evading detection, alongside
establishing the communication to a command and control (C2) server to receive
commands to interact with a victim's system. Finally, we present the general
approach as well as essential elements in order to stay undetected and make the
attack a success. This proof-of-concept highlights significant cybersecurity
issues with openly available plugins and LLMs, which require the development of
security guidelines, controls, and mitigation strategies.
- Abstract(参考訳): 生成型aiの進化と新しくリリースされた大言語モデル(llm)の能力は、ソフトウェア工学における新たな機会を開く。
しかし、サイバーセキュリティの新たな課題にも繋がる。
最近、研究者はChatGPTのようなLSMを使って、直接悪用したり、経験の浅いハッカーを誘導してツールやコードを武器化する悪意のあるコンテンツを生成する可能性を示した。
これらの研究は、ループの途中で攻撃者を必要とするシナリオをカバーした。
本研究では,オープンなプラグインを活用し,LLMを攻撃者と被害者の間のプロキシとして利用する。
本稿では,ChatGPTを悪質なソフトウェアの普及に利用し,検出を回避し,コマンド・コントロール(C2)サーバへの通信を確立し,被害者のシステムと対話するコマンドを受信する概念実証を行う。
最後に,検出されていない状態で攻撃を成功させるために,一般的なアプローチと必須要素を提示する。
この概念実証は、公開可能なプラグインとLLMによる重要なサイバーセキュリティ問題を強調しており、セキュリティガイドライン、コントロール、緩和戦略の開発が必要である。
関連論文リスト
- Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。
LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。
第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
論文 参考訳(メタデータ) (2024-05-08T02:09:17Z) - Large language models in 6G security: challenges and opportunities [5.073128025996496]
我々は,潜在的敵の立場から,Large Language Models(LLMs)のセキュリティ面に注目した。
これには包括的脅威分類の開発が含まれ、様々な敵の行動を分類する。
また、我々の研究は、防衛チーム(ブルーチームとしても知られる)によるサイバーセキュリティ活動にLLMがどのように統合されるかに焦点を当てます。
論文 参考訳(メタデータ) (2024-03-18T20:39:34Z) - Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based
Agents [50.034049716274005]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
まず、エージェントバックドア攻撃の一般的な枠組みを定式化し、その後、エージェントバックドア攻撃の様々な形態について徹底的に分析する。
本稿では,2つの典型的なエージェント・タスクに対するエージェント・バックドア・アタックのバリエーションを実装するためのデータ中毒機構を提案する。
論文 参考訳(メタデータ) (2024-02-17T06:48:45Z) - Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of
LLMs through a Global Scale Prompt Hacking Competition [8.560772603154545]
大規模な言語モデルは、インジェクションとジェイルブレイクの即時実行に対して脆弱である。
われわれはグローバルなプロンプト・ハッキング・コンペティションを開催する。
我々は,600K以上の逆のプロンプトを,最先端の3つのLDMに対して提案する。
論文 参考訳(メタデータ) (2023-10-24T18:18:11Z) - LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks [2.7719338074999538]
侵入テストにより、組織はシステム内の脆弱性を積極的に識別し、修正することができる。
浸透試験の領域における最近の進歩の1つは言語モデル(LLM)の利用である。
LLMと浸透試験の交差点を探索し、特権拡大の文脈におけるそれらの能力と課題について考察する。
論文 参考訳(メタデータ) (2023-10-17T17:15:41Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳(メタデータ) (2023-09-01T17:59:44Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard
Security Attacks [67.86285142381644]
命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。
命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。
本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
論文 参考訳(メタデータ) (2023-02-11T15:57:44Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳(メタデータ) (2020-07-05T18:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。