論文の概要: Large Language Models Can Be Used To Effectively Scale Spear Phishing
Campaigns
- arxiv url: http://arxiv.org/abs/2305.06972v1
- Date: Thu, 11 May 2023 16:55:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 13:55:25.116141
- Title: Large Language Models Can Be Used To Effectively Scale Spear Phishing
Campaigns
- Title(参考訳): 大きな言語モデルを使って、槍フィッシングキャンペーンを効果的にスケールできる
- Authors: Julian Hazell
- Abstract要約: 本研究では,スピアフィッシングにおける大規模言語モデルの有用性について検討した。
私はOpenAIのGPT-3.5とGPT-4モデルを使って600人以上の英国議会議員に対してスピアフィッシングメッセージを作成します。
私の発見によると、これらのメッセージは現実的なものばかりでなく、非常に費用効果が高い。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in artificial intelligence (AI), particularly in the domain
of large language models (LLMs), has resulted in powerful and versatile
dual-use systems. Indeed, cognition can be put towards a wide variety of tasks,
some of which can result in harm. This study investigates how LLMs can be used
for spear phishing, a prevalent form of cybercrime that involves manipulating
targets into divulging sensitive information. I first explore LLMs' ability to
assist with the reconnaissance and message generation stages of a successful
spear phishing attack, where I find that advanced LLMs are capable of
meaningfully improving cybercriminals' efficiency during these stages. Next, I
conduct an empirical test by creating unique spear phishing messages for over
600 British Members of Parliament using OpenAI's GPT-3.5 and GPT-4 models. My
findings reveal that these messages are not only realistic but also remarkably
cost-effective, as each email cost only a fraction of a cent to generate. Next,
I demonstrate how basic prompt engineering can circumvent safeguards installed
in LLMs by the reinforcement learning from human feedback fine-tuning process,
highlighting the need for more robust governance interventions aimed at
mitigating misuse. To address these evolving risks, I propose two potential
solutions: structured access schemes, such as application programming
interfaces, and LLM-based defensive systems.
- Abstract(参考訳): 人工知能(AI)の最近の進歩、特に大規模言語モデル(LLM)の領域は、強力で汎用的なデュアルユースシステムを生み出している。
実際、認知は様々なタスクに向けられ、そのうちのいくつかは害をもたらす可能性がある。
本研究は、標的を操り機密情報を漏らすことを含む、一般的なサイバー犯罪である槍フィッシング(spier phishing)に、llmをいかに使用できるかを調査した。
先進的なLSMがサイバー犯罪の効率を有意義に向上させることができることが分かり、私はまず、スピアフィッシング攻撃の成功に対する偵察およびメッセージ生成の段階を支援するLLMの能力について検討した。
次に,OpenAI の GPT-3.5 および GPT-4 モデルを用いて,600 人以上の英国議会議員に対して,ユニークなスピアフィッシングメッセージを作成することにより,実証実験を行った。
私の発見によると、これらのメッセージは現実的だけでなく、コスト効率も著しく高く、それぞれのメールは生成にわずか1セントしかかからない。
次に、人間のフィードバックによる微調整プロセスからの強化学習により、LLMにインストールされた安全ガードを回避するための基本的なプロンプトエンジニアリングを実証し、誤用を緩和するためのより堅牢なガバナンス介入の必要性を強調します。
この進化するリスクに対処するために、アプリケーションプログラミングインタフェースのような構造化アクセススキームとLLMベースの防御システムという2つの潜在的解決策を提案する。
関連論文リスト
- From Noise to Clarity: Unraveling the Adversarial Suffix of Large
Language Model Attacks via Translation of Text Embeddings [64.26248561154509]
近年の研究では、有害な指示に接尾辞を付けることで、LSMの防御をハックできることが判明している。
本稿では,非可読な逆接尾辞をコヒーレントかつ可読なテキストに翻訳可能な逆接尾辞埋め込み翻訳フレームワーク(ASETF)を提案する。
論文 参考訳(メタデータ) (2024-02-25T06:46:27Z) - Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。
LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
論文 参考訳(メタデータ) (2024-02-21T18:59:13Z) - Large Language Model Lateral Spear Phishing: A Comparative Study in
Large-Scale Organizational Settings [3.251318035773221]
本研究では,Large Language Models (LLMs) を用いた横型フィッシングメール作成の先駆的な研究である。
11ヶ月の期間に約9000人の個人を対象とする大規模な第1階層の大学運営を目標としている。
また、LLM生成したフィッシングを検知する電子メールフィルタリングインフラの能力も評価した。
論文 参考訳(メタデータ) (2024-01-18T05:06:39Z) - A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly [21.536079040559517]
大規模言語モデル(LLM)は、自然言語の理解と生成に革命をもたらした。
本稿では,LLMとセキュリティとプライバシの交わりについて考察する。
論文 参考訳(メタデータ) (2023-12-04T16:25:18Z) - From Chatbots to PhishBots? -- Preventing Phishing scams created using
ChatGPT, Google Bard and Claude [3.7741995290294943]
本研究では,一般的な4つの大規模言語モデルを用いてフィッシング攻撃を発生させる可能性について検討する。
我々は、悪意のあるプロンプトの早期検出に使用できるBERTベースの自動検出ツールを構築した。
我々のモデルは4つの商用LCM間で転送可能であり、フィッシングサイトプロンプトの平均精度は96%、フィッシングメールプロンプトの平均精度は94%である。
論文 参考訳(メタデータ) (2023-10-29T22:52:40Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z) - Detecting Phishing Sites Using ChatGPT [2.3999111269325266]
本稿では,大規模言語モデル(LLM)を用いてフィッシングサイトを検出するChatPhishDetectorという新しいシステムを提案する。
本システムでは,Webクローラを利用してWebサイトから情報を収集し,クローリングデータに基づいてLLMのプロンプトを生成し,LLMが生成した応答から検出結果を取得する。
GPT-4Vを用いた実験結果は、98.7%の精度と99.6%のリコールで優れた性能を示し、他のLLMや既存のシステムよりも優れていた。
論文 参考訳(メタデータ) (2023-06-09T11:30:08Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard
Security Attacks [67.86285142381644]
命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。
命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。
本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
論文 参考訳(メタデータ) (2023-02-11T15:57:44Z) - Targeted Phishing Campaigns using Large Scale Language Models [0.0]
フィッシングメール(英: Phishing email)とは、個人を騙して機密情報を明らかにしたり、攻撃者に利益をもたらす行動を起こさせる不正なメッセージである。
生成したテキストの品質など,様々な基準に基づき,これらの電子メールを生成する際のNLMの性能を評価するためのフレームワークを提案する。
評価の結果,NLMは個人を騙すのが難しいフィッシングメールを生成することができるが,その有効性は特定のNLMとトレーニングデータに基づいて異なることがわかった。
論文 参考訳(メタデータ) (2022-12-30T03:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。