Fugu-MT 論文翻訳(概要): Large Language Models Can Be Used To Effectively Scale Spear Phishing Campaigns

論文の概要: Large Language Models Can Be Used To Effectively Scale Spear Phishing Campaigns

arxiv url: http://arxiv.org/abs/2305.06972v2
Date: Fri, 12 May 2023 07:48:41 GMT
ステータス: 処理完了
システム内更新日: 2023-05-15 15:04:35.968987
Title: Large Language Models Can Be Used To Effectively Scale Spear Phishing Campaigns
Title（参考訳）: 大きな言語モデルを使って、槍フィッシングキャンペーンを効果的にスケールできる
Authors: Julian Hazell
Abstract要約: 本研究では,スピアフィッシングにおける大規模言語モデル (LLM) の活用について検討した。私はOpenAIのGPT-3.5とGPT-4モデルを使用して、600人以上の英国議会議員に対して独自のフィッシングメッセージを作成します。私の発見によると、これらのメッセージは現実的なものばかりでなく、費用効果もある。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent progress in artificial intelligence (AI), particularly in the domain of large language models (LLMs), has resulted in powerful and versatile dual-use systems. Indeed, cognition can be put towards a wide variety of tasks, some of which can result in harm. This study investigates how LLMs can be used for spear phishing, a form of cybercrime that involves manipulating targets into divulging sensitive information. I first explore LLMs' ability to assist with the reconnaissance and message generation stages of a successful spear phishing attack, where I find that advanced LLMs are capable of improving cybercriminals' efficiency during these stages. To explore how LLMs can be used to scale spear phishing campaigns, I then create unique spear phishing messages for over 600 British Members of Parliament using OpenAI's GPT-3.5 and GPT-4 models. My findings reveal that these messages are not only realistic but also cost-effective, with each email costing only a fraction of a cent to generate. Next, I demonstrate how basic prompt engineering can circumvent safeguards installed in LLMs by the reinforcement learning from human feedback fine-tuning process, highlighting the need for more robust governance interventions aimed at preventing misuse. To address these evolving risks, I propose two potential solutions: structured access schemes, such as application programming interfaces, and LLM-based defensive systems.
Abstract（参考訳）: 人工知能(AI)の最近の進歩、特に大規模言語モデル(LLM)の領域は、強力で汎用的なデュアルユースシステムを生み出している。実際、認知は様々なタスクに向けられ、そのうちのいくつかは害をもたらす可能性がある。本研究は,標的を操り,機密情報を漏洩させるサイバー犯罪の一形態であるスピアフィッシングに,llmをいかに利用できるかを検討する。まず,先進的なLLMがサイバー犯罪の効率を向上させることができることを確認し,この段階では,スピアフィッシング攻撃の偵察およびメッセージ生成を支援できるLLMの能力について検討する。次に,OpenAI の GPT-3.5 および GPT-4 モデルを用いて,600 名以上の英国議会議員に対して,LLM が槍フィッシングキャンペーンの規模を拡大する方法について検討する。私の調査結果は、これらのメッセージは現実的なだけでなく、コスト効率も高く、それぞれのメールが生成するのにわずか1セントしかかからないことを示しています。次に,人間フィードバックの微調整プロセスからの強化学習により,llmに設置された安全対策を回避し,悪用防止を目的としたより堅牢なガバナンス介入の必要性を浮き彫りにする。この進化するリスクに対処するために、アプリケーションプログラミングインタフェースのような構造化アクセススキームとLLMベースの防御システムという2つの潜在的解決策を提案する。

関連論文リスト

Next-Generation Phishing: How LLM Agents Empower Cyber Attackers [10.067883724547182]
フィッシングメールのエスカレートする脅威は、Large Language Models(LLMs)の台頭により、ますます洗練されつつある。攻撃者はLSMを利用して、より説得力があり回避的なフィッシングメールを作成するため、現在のフィッシング防御のレジリエンスを評価することが不可欠である。我々は、Gmail Spam Filter、Apache SpamAssassin、Proofpointなどの従来のフィッシング検出と、SVM、Logistic Regression、Naive Bayesといった機械学習モデルに関する包括的な評価を行います。以上の結果から,全検知器にまたがるリフレッシュメールの検出精度は著しく低下し,現在のフィッシング防御における重大な弱点が浮き彫りになった。
論文参考訳（メタデータ） (2024-11-21T06:20:29Z)
Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
論文参考訳（メタデータ） (2024-10-07T19:34:35Z)
MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
大規模言語モデル(LLM)は目覚ましい能力を示している。その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
論文参考訳（メタデータ） (2024-08-20T10:44:29Z)
Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
論文参考訳（メタデータ） (2024-02-21T18:59:13Z)
Large Language Model Lateral Spear Phishing: A Comparative Study in Large-Scale Organizational Settings [3.251318035773221]
本研究では,Large Language Models (LLMs) を用いた横型フィッシングメール作成の先駆的な研究である。 11ヶ月の期間に約9000人の個人を対象とする大規模な第1階層の大学運営を目標としている。また、LLM生成したフィッシングを検知する電子メールフィルタリングインフラの能力も評価した。
論文参考訳（メタデータ） (2024-01-18T05:06:39Z)
From Chatbots to PhishBots? -- Preventing Phishing scams created using ChatGPT, Google Bard and Claude [3.7741995290294943]
本研究では,一般的な4つの大規模言語モデルを用いてフィッシング攻撃を発生させる可能性について検討する。我々は、悪意のあるプロンプトの早期検出に使用できるBERTベースの自動検出ツールを構築した。我々のモデルは4つの商用LCM間で転送可能であり、フィッシングサイトプロンプトの平均精度は96%、フィッシングメールプロンプトの平均精度は94%である。
論文参考訳（メタデータ） (2023-10-29T22:52:40Z)
SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文参考訳（メタデータ） (2023-10-05T17:01:53Z)
Detecting Phishing Sites Using ChatGPT [2.3999111269325266]
本稿では,大規模言語モデル(LLM)を用いてフィッシングサイトを検出するChatPhishDetectorという新しいシステムを提案する。本システムでは,Webクローラを利用してWebサイトから情報を収集し,クローリングデータに基づいてLLMのプロンプトを生成し,LLMが生成した応答から検出結果を取得する。 GPT-4Vを用いた実験結果は、98.7%の精度と99.6%のリコールで優れた性能を示し、他のLLMや既存のシステムよりも優れていた。
論文参考訳（メタデータ） (2023-06-09T11:30:08Z)
Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文参考訳（メタデータ） (2023-02-23T17:14:38Z)
Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks [67.86285142381644]
命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
論文参考訳（メタデータ） (2023-02-11T15:57:44Z)
Targeted Phishing Campaigns using Large Scale Language Models [0.0]
フィッシングメール(英: Phishing email)とは、個人を騙して機密情報を明らかにしたり、攻撃者に利益をもたらす行動を起こさせる不正なメッセージである。生成したテキストの品質など,様々な基準に基づき,これらの電子メールを生成する際のNLMの性能を評価するためのフレームワークを提案する。評価の結果,NLMは個人を騙すのが難しいフィッシングメールを生成することができるが,その有効性は特定のNLMとトレーニングデータに基づいて異なることがわかった。
論文参考訳（メタデータ） (2022-12-30T03:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。