論文の概要: From Chatbots to PhishBots? -- Preventing Phishing scams created using ChatGPT, Google Bard and Claude

• arxiv url: http://arxiv.org/abs/2310.19181v2
• Date: Sun, 10 Mar 2024 04:12:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 15:26:54.528450
• Title: From Chatbots to PhishBots? -- Preventing Phishing scams created using ChatGPT, Google Bard and Claude
• Title（参考訳）: ChatbotsからPhishBotsへ? --ChatGPT、Google Bard、Claudeを使ったフィッシング詐欺防止
• Authors: Sayak Saha Roy, Poojitha Thota, Krishna Vamsi Naragam, Shirin Nilizadeh
• Abstract要約: 本研究では,一般的な4つの大規模言語モデルを用いてフィッシング攻撃を発生させる可能性について検討する。 我々は、悪意のあるプロンプトの早期検出に使用できるBERTベースの自動検出ツールを構築した。 我々のモデルは4つの商用LCM間で転送可能であり、フィッシングサイトプロンプトの平均精度は96%、フィッシングメールプロンプトの平均精度は94%である。
• 参考スコア（独自算出の注目度）: 3.7741995290294943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advanced capabilities of Large Language Models (LLMs) have made them invaluable across various applications, from conversational agents and content creation to data analysis, research, and innovation. However, their effectiveness and accessibility also render them susceptible to abuse for generating malicious content, including phishing attacks. This study explores the potential of using four popular commercially available LLMs, i.e., ChatGPT (GPT 3.5 Turbo), GPT 4, Claude, and Bard, to generate functional phishing attacks using a series of malicious prompts. We discover that these LLMs can generate both phishing websites and emails that can convincingly imitate well-known brands and also deploy a range of evasive tactics that are used to elude detection mechanisms employed by anti-phishing systems. These attacks can be generated using unmodified or "vanilla" versions of these LLMs without requiring any prior adversarial exploits such as jailbreaking. We evaluate the performance of the LLMs towards generating these attacks and find that they can also be utilized to create malicious prompts that, in turn, can be fed back to the model to generate phishing scams - thus massively reducing the prompt-engineering effort required by attackers to scale these threats. As a countermeasure, we build a BERT-based automated detection tool that can be used for the early detection of malicious prompts to prevent LLMs from generating phishing content. Our model is transferable across all four commercial LLMs, attaining an average accuracy of 96% for phishing website prompts and 94% for phishing email prompts. We also disclose the vulnerabilities to the concerned LLMs, with Google acknowledging it as a severe issue. Our detection model is available for use at Hugging Face, as well as a ChatGPT Actions plugin.
• Abstract（参考訳）: 大規模言語モデル(llm)の高度な機能により、会話エージェントやコンテンツの作成からデータ分析、研究、イノベーションに至るまで、さまざまなアプリケーションで評価できるようになりました。 しかし、その有効性とアクセシビリティは、フィッシング攻撃を含む悪意のあるコンテンツの生成に対する悪用の影響を受けやすい。 本研究は,ChatGPT(GPT 3.5 Turbo),GPT4,Claude,Bardの4種類の市販LCMを用いて,一連の悪意あるプロンプトを用いて機能的フィッシング攻撃を発生させる可能性を探る。 これらのLCMはフィッシングサイトとメールの両方を生成でき、有名ブランドを納得して模倣できるだけでなく、フィッシング防止システムで使用される検出メカニズムを回避できる様々な回避策を展開できる。 これらの攻撃は、ジェイルブレイクのような以前の敵の攻撃を必要とせずに、修正されていないバージョンや「バニラ」バージョンを使って生成することができる。 我々は、これらの攻撃を発生させるLLMの性能を評価し、悪質なプロンプトを生成するためにも利用でき、フィッシング詐欺を発生させるためにモデルにフィードバックすることができることを発見し、攻撃者がこれらの脅威をスケールするのに必要となるプロンプトエンジニアリングの労力を大幅に削減する。 この対策として,悪意のあるプロンプトを早期に検出できるBERTベースの自動検出ツールを構築し,LCMがフィッシングコンテンツを生成するのを防ぐ。 我々のモデルは4つの商用LCM間で転送可能であり、フィッシングサイトプロンプトの平均精度は96%、フィッシングメールプロンプトの平均精度は94%である。 また、関係するLSMに脆弱性を開示し、Googleは深刻な問題だと認めています。 私たちの検出モデルは、chatgpt actionsプラグインと同様に、ハグフェイスで使用できます。

関連論文リスト

• Next-Generation Phishing: How LLM Agents Empower Cyber Attackers [10.067883724547182]
  フィッシングメールのエスカレートする脅威は、Large Language Models(LLMs)の台頭により、ますます洗練されつつある。 攻撃者はLSMを利用して、より説得力があり回避的なフィッシングメールを作成するため、現在のフィッシング防御のレジリエンスを評価することが不可欠である。 我々は、Gmail Spam Filter、Apache SpamAssassin、Proofpointなどの従来のフィッシング検出と、SVM、Logistic Regression、Naive Bayesといった機械学習モデルに関する包括的な評価を行います。 以上の結果から,全検知器にまたがるリフレッシュメールの検出精度は著しく低下し,現在のフィッシング防御における重大な弱点が浮き彫りになった。
  論文  参考訳（メタデータ） (2024-11-21T06:20:29Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• APOLLO: A GPT-based tool to detect phishing emails and generate explanations that warn users [2.3618982787621]
  大規模言語モデル(LLM)は、様々なドメインでテキスト処理を約束する。 我々は,OpenAIのGPT-4oに基づくツールであるAPOLLOを紹介し,フィッシングメールを検出し,説明メッセージを生成する。 また,20名の被験者を対象に,フィッシング警告として提示された4つの説明を比較検討した。
  論文  参考訳（メタデータ） (2024-10-10T14:53:39Z)
• BaThe: Defense against the Jailbreak Attack in Multimodal Large Language Models by Treating Harmful Instruction as Backdoor Trigger [47.1955210785169]
  本研究では,単純なジェイルブレイク防御機構である$textbfBaTheを提案する。 ジェイルブレイクバックドア攻撃は、手作りの弦と組み合わされた有害な命令をトリガーとして使用し、バックドアモデルが禁止された応答を生成する。 有害な命令がトリガーとして機能し、代わりにリジェクション応答をトリガー応答として設定すれば、バックドアモデルがジェイルブレイク攻撃に対して防御できると仮定する。
  論文  参考訳（メタデータ） (2024-08-17T04:43:26Z)
• ChatSpamDetector: Leveraging Large Language Models for Effective Phishing Email Detection [2.3999111269325266]
  本研究では,大規模な言語モデル(LLM)を用いてフィッシングメールを検出するシステムChatSpamDetectorを紹介する。 LLM解析に適したプロンプトに電子メールデータを変換することにより、電子メールがフィッシングされているか否かを高精度に判定する。 総合的なフィッシングメールデータセットを用いて評価を行い,複数のLLMおよびベースラインシステムと比較した。
  論文  参考訳（メタデータ） (2024-02-28T06:28:15Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Spear Phishing With Large Language Models [3.2634122554914002]
  本研究では,スピアフィッシングに大規模言語モデル(LLM)を用いる方法について検討した。 私はOpenAIのGPT-3.5とGPT-4モデルを使用して、600人以上の英国議会議員に対して独自のフィッシングメッセージを作成します。 私の発見は、これらのメッセージが現実的であるだけでなく、コスト効率も高いという証拠を提供しています。
  論文  参考訳（メタデータ） (2023-05-11T16:55:19Z)
• Generating Phishing Attacks using ChatGPT [1.392250707100996]
  機能的なフィッシングサイトを生成するためにChatGPTに提供できる悪意のあるプロンプトをいくつか特定する。 これらの攻撃は、バニラChatGPTを使用して、事前の敵のエクスプロイトを必要とせずに生成できる。
  論文  参考訳（メタデータ） (2023-05-09T02:38:05Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Phishing and Spear Phishing: examples in Cyber Espionage and techniques to protect against them [91.3755431537592]
  フィッシング攻撃は、2012年以降、サイバー攻撃の91%以上を突破し、オンライン詐欺で最も使われているテクニックとなっている。 本研究は, フィッシングとスピア・フィッシングによる攻撃が, 結果を大きくする5つのステップを通じて, フィッシングとスピア・フィッシングによる攻撃の実施方法についてレビューした。
  論文  参考訳（メタデータ） (2020-05-31T18:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。