論文の概要: From Chatbots to PhishBots? -- Preventing Phishing scams created using
ChatGPT, Google Bard and Claude
- arxiv url: http://arxiv.org/abs/2310.19181v2
- Date: Sun, 10 Mar 2024 04:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 15:26:54.528450
- Title: From Chatbots to PhishBots? -- Preventing Phishing scams created using
ChatGPT, Google Bard and Claude
- Title(参考訳): ChatbotsからPhishBotsへ?
--ChatGPT、Google Bard、Claudeを使ったフィッシング詐欺防止
- Authors: Sayak Saha Roy, Poojitha Thota, Krishna Vamsi Naragam, Shirin
Nilizadeh
- Abstract要約: 本研究では,一般的な4つの大規模言語モデルを用いてフィッシング攻撃を発生させる可能性について検討する。
我々は、悪意のあるプロンプトの早期検出に使用できるBERTベースの自動検出ツールを構築した。
我々のモデルは4つの商用LCM間で転送可能であり、フィッシングサイトプロンプトの平均精度は96%、フィッシングメールプロンプトの平均精度は94%である。
- 参考スコア(独自算出の注目度): 3.7741995290294943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advanced capabilities of Large Language Models (LLMs) have made them
invaluable across various applications, from conversational agents and content
creation to data analysis, research, and innovation. However, their
effectiveness and accessibility also render them susceptible to abuse for
generating malicious content, including phishing attacks. This study explores
the potential of using four popular commercially available LLMs, i.e., ChatGPT
(GPT 3.5 Turbo), GPT 4, Claude, and Bard, to generate functional phishing
attacks using a series of malicious prompts. We discover that these LLMs can
generate both phishing websites and emails that can convincingly imitate
well-known brands and also deploy a range of evasive tactics that are used to
elude detection mechanisms employed by anti-phishing systems. These attacks can
be generated using unmodified or "vanilla" versions of these LLMs without
requiring any prior adversarial exploits such as jailbreaking. We evaluate the
performance of the LLMs towards generating these attacks and find that they can
also be utilized to create malicious prompts that, in turn, can be fed back to
the model to generate phishing scams - thus massively reducing the
prompt-engineering effort required by attackers to scale these threats. As a
countermeasure, we build a BERT-based automated detection tool that can be used
for the early detection of malicious prompts to prevent LLMs from generating
phishing content. Our model is transferable across all four commercial LLMs,
attaining an average accuracy of 96% for phishing website prompts and 94% for
phishing email prompts. We also disclose the vulnerabilities to the concerned
LLMs, with Google acknowledging it as a severe issue. Our detection model is
available for use at Hugging Face, as well as a ChatGPT Actions plugin.
- Abstract(参考訳): 大規模言語モデル(llm)の高度な機能により、会話エージェントやコンテンツの作成からデータ分析、研究、イノベーションに至るまで、さまざまなアプリケーションで評価できるようになりました。
しかし、その有効性とアクセシビリティは、フィッシング攻撃を含む悪意のあるコンテンツの生成に対する悪用の影響を受けやすい。
本研究は,ChatGPT(GPT 3.5 Turbo),GPT4,Claude,Bardの4種類の市販LCMを用いて,一連の悪意あるプロンプトを用いて機能的フィッシング攻撃を発生させる可能性を探る。
これらのLCMはフィッシングサイトとメールの両方を生成でき、有名ブランドを納得して模倣できるだけでなく、フィッシング防止システムで使用される検出メカニズムを回避できる様々な回避策を展開できる。
これらの攻撃は、ジェイルブレイクのような以前の敵の攻撃を必要とせずに、修正されていないバージョンや「バニラ」バージョンを使って生成することができる。
我々は、これらの攻撃を発生させるLLMの性能を評価し、悪質なプロンプトを生成するためにも利用でき、フィッシング詐欺を発生させるためにモデルにフィードバックすることができることを発見し、攻撃者がこれらの脅威をスケールするのに必要となるプロンプトエンジニアリングの労力を大幅に削減する。
この対策として,悪意のあるプロンプトを早期に検出できるBERTベースの自動検出ツールを構築し,LCMがフィッシングコンテンツを生成するのを防ぐ。
我々のモデルは4つの商用LCM間で転送可能であり、フィッシングサイトプロンプトの平均精度は96%、フィッシングメールプロンプトの平均精度は94%である。
また、関係するLSMに脆弱性を開示し、Googleは深刻な問題だと認めています。
私たちの検出モデルは、chatgpt actionsプラグインと同様に、ハグフェイスで使用できます。
関連論文リスト
- AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳(メタデータ) (2024-03-14T15:57:13Z) - From Noise to Clarity: Unraveling the Adversarial Suffix of Large
Language Model Attacks via Translation of Text Embeddings [64.26248561154509]
近年の研究では、有害な指示に接尾辞を付けることで、LSMの防御をハックできることが判明している。
本稿では,非可読な逆接尾辞をコヒーレントかつ可読なテキストに翻訳可能な逆接尾辞埋め込み翻訳フレームワーク(ASETF)を提案する。
論文 参考訳(メタデータ) (2024-02-25T06:46:27Z) - An Explainable Transformer-based Model for Phishing Email Detection: A
Large Language Model Approach [2.8282906214258805]
フィッシングメール(英: Phishing email)は、機密情報を盗んだり、金銭的損害を与える目的で偽のメールを送ることによって、ユーザーを騙そうとする深刻なサイバー脅威である。
大規模な学術研究にもかかわらず、フィッシング検出はサイバーセキュリティの分野で今も進行中で恐ろしい課題である。
フィッシングメールの検出のために最適化された微調整変換器を用いた DistilBERT モデルを提案する。
論文 参考訳(メタデータ) (2024-02-21T15:23:21Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z) - RatGPT: Turning online LLMs into Proxies for Malware Attacks [0.0]
本稿では、ChatGPTが検出を回避しつつ悪意あるソフトウェアの普及に使用される概念実証について述べる。
我々はまた、検出されていないまま攻撃を成功させるために、一般的なアプローチと重要な要素を提示する。
論文 参考訳(メタデータ) (2023-08-17T20:54:39Z) - Universal and Transferable Adversarial Attacks on Aligned Language
Models [118.41733208825278]
本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。
驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
論文 参考訳(メタデータ) (2023-07-27T17:49:12Z) - Spear Phishing With Large Language Models [3.2634122554914002]
本研究では,スピアフィッシングに大規模言語モデル(LLM)を用いる方法について検討した。
私はOpenAIのGPT-3.5とGPT-4モデルを使用して、600人以上の英国議会議員に対して独自のフィッシングメッセージを作成します。
私の発見は、これらのメッセージが現実的であるだけでなく、コスト効率も高いという証拠を提供しています。
論文 参考訳(メタデータ) (2023-05-11T16:55:19Z) - Generating Phishing Attacks using ChatGPT [1.392250707100996]
機能的なフィッシングサイトを生成するためにChatGPTに提供できる悪意のあるプロンプトをいくつか特定する。
これらの攻撃は、バニラChatGPTを使用して、事前の敵のエクスプロイトを必要とせずに生成できる。
論文 参考訳(メタデータ) (2023-05-09T02:38:05Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Targeted Phishing Campaigns using Large Scale Language Models [0.0]
フィッシングメール(英: Phishing email)とは、個人を騙して機密情報を明らかにしたり、攻撃者に利益をもたらす行動を起こさせる不正なメッセージである。
生成したテキストの品質など,様々な基準に基づき,これらの電子メールを生成する際のNLMの性能を評価するためのフレームワークを提案する。
評価の結果,NLMは個人を騙すのが難しいフィッシングメールを生成することができるが,その有効性は特定のNLMとトレーニングデータに基づいて異なることがわかった。
論文 参考訳(メタデータ) (2022-12-30T03:18:05Z) - Phishing and Spear Phishing: examples in Cyber Espionage and techniques
to protect against them [91.3755431537592]
フィッシング攻撃は、2012年以降、サイバー攻撃の91%以上を突破し、オンライン詐欺で最も使われているテクニックとなっている。
本研究は, フィッシングとスピア・フィッシングによる攻撃が, 結果を大きくする5つのステップを通じて, フィッシングとスピア・フィッシングによる攻撃の実施方法についてレビューした。
論文 参考訳(メタデータ) (2020-05-31T18:10:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。