論文の概要: Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
- arxiv url: http://arxiv.org/abs/2412.00586v1
- Date: Sat, 30 Nov 2024 21:02:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:40:21.408114
- Title: Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
- Title（参考訳）: 大規模言語モデルによる完全自動羽ばたきキャンペーン開始能力の評価--被験者による検証
- Authors: Fred Heiding, Simon Lermen, Andrew Kao, Bruce Schneier, Arun Vishwanath,
- Abstract要約: 我々は、パーソナライズされたフィッシング攻撃を行うための大規模言語モデルの能力を評価する。
昨年のAIモデルと人間の専門家のパフォーマンスを比較します。
- 参考スコア（独自算出の注目度）: 0.0699049312989311
- License:
- Abstract: In this paper, we evaluate the capability of large language models to conduct personalized phishing attacks and compare their performance with human experts and AI models from last year. We include four email groups with a combined total of 101 participants: A control group of arbitrary phishing emails, which received a click-through rate (recipient pressed a link in the email) of 12%, emails generated by human experts (54% click-through), fully AI-automated emails 54% (click-through), and AI emails utilizing a human-in-the-loop (56% click-through). Thus, the AI-automated attacks performed on par with human experts and 350% better than the control group. The results are a significant improvement from similar studies conducted last year, highlighting the increased deceptive capabilities of AI models. Our AI-automated emails were sent using a custom-built tool that automates the entire spear phishing process, including information gathering and creating personalized vulnerability profiles for each target. The AI-gathered information was accurate and useful in 88% of cases and only produced inaccurate profiles for 4% of the participants. We also use language models to detect the intention of emails. Claude 3.5 Sonnet scored well above 90% with low false-positive rates and detected several seemingly benign emails that passed human detection. Lastly, we analyze the economics of phishing, highlighting how AI enables attackers to target more individuals at lower cost and increase profitability by up to 50 times for larger audiences.
- Abstract（参考訳）: 本稿では,大規模言語モデルによるパーソナライズされたフィッシング攻撃の実行能力を評価し,その性能を昨年の人間専門家やAIモデルと比較する。
12%のクリックスルーレート(メールのリンクを優先的にプッシュする)の任意のフィッシングメールのコントロールグループ、人間の専門家によるメール(54%のクリックスルー)、完全なAI自動化メール(54%のクリックスルー)、人間のインザループを利用したAIメール(56%のクリックスルー)です。
このように、AIによる自動攻撃は人間の専門家と同等に行われ、コントロールグループよりも350%向上した。
結果は、昨年行われた同様の研究から大幅に改善され、AIモデルの偽装能力が増大したことを浮き彫りにした。
当社のAI自動化メールは、情報収集やターゲット毎にパーソナライズされた脆弱性プロファイルの作成を含む、スピアフィッシングプロセス全体を自動化するカスタムビルドツールを使用して送信されました。
AI収集された情報は88%の症例で正確で有用であり、4%の参加者で不正確なプロファイルを作成しただけだった。
また、Eメールの意図を検出するために言語モデルも使用しています。
Claude 3.5 Sonnetは、偽陽性率の低い90%をはるかに上回り、人間の検出に合格したように見えるメールを数通検出した。
最後に、フィッシングの経済性を分析し、AIによって攻撃者がより低コストでより多くの個人を標的にし、より多くのオーディエンスに対して最大50倍の利益を上げることができることを強調した。
関連論文リスト
- APOLLO: A GPT-based tool to detect phishing emails and generate explanations that warn users [2.3618982787621]
大規模言語モデル(LLM)は、様々なドメインでテキスト処理を約束する。
我々は,OpenAIのGPT-4oに基づくツールであるAPOLLOを紹介し,フィッシングメールを検出し,説明メッセージを生成する。
また,20名の被験者を対象に,フィッシング警告として提示された4つの説明を比較検討した。
論文 参考訳（メタデータ） (2024-10-10T14:53:39Z) - Consent in Crisis: The Rapid Decline of the AI Data Commons [74.68176012363253]
汎用人工知能(AI)システムは、大量の公開Webデータに基づいて構築されている。
我々は,AIトレーニングコーパスに基づくWebドメインに対する同意プロトコルの大規模かつ長期的監査を行う。
論文 参考訳（メタデータ） (2024-07-20T16:50:18Z) - Analysis and prevention of AI-based phishing email attacks [0.0]
生成AIを使用して、潜在的な犠牲者それぞれに異なるメールを送ることができる。
我々は、AIが生成するフィッシングメールを識別する自動テキスト分析機能をテストするために、さまざまな機械学習ツールを使用します。
また、AIが生成したフィッシングメールのコーパスを公開している。
論文 参考訳（メタデータ） (2024-05-08T21:40:49Z) - Evaluating the Efficacy of Large Language Models in Identifying Phishing Attempts [2.6012482282204004]
何十年にもわたるサイバー犯罪戦術であるフィッシングは、今日のデジタル世界において大きな脅威となっている。
本稿では,15大言語モデル (LLM) がフィッシング手法の検出に有効であることを示す。
論文 参考訳（メタデータ） (2024-04-23T19:55:18Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳（メタデータ） (2023-07-20T17:33:25Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Profiler: Profile-Based Model to Detect Phishing Emails [15.109679047753355]
本稿では,攻撃者がメールに適応して検出を回避できる可能性を低減するために,メールの多次元リスク評価を提案する。
本研究では,(1)脅威レベル,(2)認知的操作,(3)電子メールタイプを分析する3つのモデルを含むリスクアセスメントフレームワークを開発する。
プロファイラは、MLアプローチと併用して、誤分類を減らしたり、トレーニング段階で大規模な電子メールデータセットのラベル付けとして使用することができる。
論文 参考訳（メタデータ） (2022-08-18T10:01:55Z) - Email Summarization to Assist Users in Phishing Identification [1.433758865948252]
サイバーフィッシング攻撃は、特定の情報や手がかりが存在する場合にのみ、トレーニングデータによってより正確で、標的になり、調整される。
この研究は、トランスフォーマーベースの機械学習を活用して、将来的な心理的トリガーを分析する。
次に、この情報をアマルゲイトし、ユーザーに提示し、電子メールが「フィシー」なのか(ii)自己学習した先進的な悪意あるパターンなのかを簡単に判断できるようにします。
論文 参考訳（メタデータ） (2022-03-24T23:03:46Z) - Deep convolutional forest: a dynamic deep ensemble approach for spam
detection in text [219.15486286590016]
本稿では,スパム検出のための動的深層アンサンブルモデルを提案する。
その結果、このモデルは高い精度、リコール、f1スコア、98.38%の精度を達成した。
論文 参考訳（メタデータ） (2021-10-10T17:19:37Z) - The Threat of Offensive AI to Organizations [52.011307264694665]
この調査は、組織に対する攻撃的なAIの脅威を調査する。
まず、AIが敵の方法、戦略、目標、および全体的な攻撃モデルをどのように変えるかについて議論する。
そして、文献レビューを通じて、敵が攻撃を強化するために使用できる33の攻撃的AI能力を特定します。
論文 参考訳（メタデータ） (2021-06-30T01:03:28Z) - Learning with Weak Supervision for Email Intent Detection [56.71599262462638]
本稿では,メールの意図を検出するために,ユーザアクションを弱い監視源として活用することを提案する。
メール意図識別のためのエンドツーエンドの堅牢なディープニューラルネットワークモデルを開発した。
論文 参考訳（メタデータ） (2020-05-26T23:41:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。