論文の概要: Lateral Phishing With Large Language Models: A Large Organization Comparative Study

• arxiv url: http://arxiv.org/abs/2401.09727v2
• Date: Tue, 15 Apr 2025 15:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-26 07:37:33.159483
• Title: Lateral Phishing With Large Language Models: A Large Organization Comparative Study
• Title（参考訳）: 大規模言語モデルを用いたラテラルフィッシング:大規模組織比較研究
• Authors: Mazal Bethany, Athanasios Galiopoulos, Emet Bethany, Mohammad Bahrami Karkevandi, Nicole Beebe, Nishant Vishwamitra, Peyman Najafirad,
• Abstract要約: 大規模言語モデル(LLM)の出現は、高度にターゲットを絞った、パーソナライズされ、自動化された攻撃を発生させることで、フィッシングメールの脅威を増大させた。 LLMが生成する横型フィッシングメールの有効性を人間によるものであるものと比較する大規模な研究は乏しい。 本研究は,教育機関におけるサイバーセキュリティ脅威の理解に寄与する。
• 参考スコア（独自算出の注目度）: 3.590574657417729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of Large Language Models (LLMs) has heightened the threat of phishing emails by enabling the generation of highly targeted, personalized, and automated attacks. Traditionally, many phishing emails have been characterized by typos, errors, and poor language. These errors can be mitigated by LLMs, potentially lowering the barrier for attackers. Despite this, there is a lack of large-scale studies comparing the effectiveness of LLM-generated lateral phishing emails to those crafted by humans. Current literature does not adequately address the comparative effectiveness of LLM and human-generated lateral phishing emails in a real-world, large-scale organizational setting, especially considering the potential for LLMs to generate more convincing and error-free phishing content. To address this gap, we conducted a pioneering study within a large university, targeting its workforce of approximately 9,000 individuals including faculty, staff, administrators, and student workers. Our results indicate that LLM-generated lateral phishing emails are as effective as those written by communications professionals, emphasizing the critical threat posed by LLMs in leading phishing campaigns. We break down the results of the overall phishing experiment, comparing vulnerability between departments and job roles. Furthermore, to gather qualitative data, we administered a detailed questionnaire, revealing insights into the reasons and motivations behind vulnerable employee's actions. This study contributes to the understanding of cyber security threats in educational institutions and provides a comprehensive comparison of LLM and human-generated phishing emails' effectiveness, considering the potential for LLMs to generate more convincing content. The findings highlight the need for enhanced user education and system defenses to mitigate the growing threat of AI-powered phishing attacks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、高度にターゲットを絞った、パーソナライズされ、自動化された攻撃を発生させることで、フィッシングメールの脅威を増大させた。 伝統的に、多くのフィッシングメールは、タイプミス、エラー、貧弱な言語によって特徴づけられている。 これらのエラーはLSMによって軽減され、攻撃者の障壁を低くする可能性がある。 それにもかかわらず、LLMが生成する横フィッシングメールの有効性を人間によって作られたものと比較する大規模な研究は乏しい。 現在の文献は、LLMがより説得力が高く、エラーのないフィッシングコンテンツを生成できる可能性を考えると、実世界の大規模組織環境での人為的なフィッシングメールと人為的なフィッシングメールの比較の有効性を十分に解決していない。 このギャップに対処するため、大学内における先駆的な研究を行い、教員、職員、管理者、学生労働者を含む約9000人を対象にした。 以上の結果から, LLMが生成する横型フィッシングメールは, 通信専門家が作成するメールと同等に有効であることが示唆された。 フィッシング実験の結果を分解し、部門と職の脆弱性を比較します。 さらに,定性的なデータを集めるために詳細なアンケートを実施し,脆弱な従業員の行動の背景にある理由と動機を明らかにする。 本研究は、教育機関におけるサイバーセキュリティ脅威の理解に寄与し、LLMがより説得力のあるコンテンツを生成する可能性を考慮して、LLMと人為的なフィッシングメールの有効性を総合的に比較する。 この発見は、AIによるフィッシング攻撃の脅威を和らげるために、ユーザー教育とシステム防御を強化する必要性を強調している。

関連論文リスト

• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Enhancing Phishing Email Identification with Large Language Models [0.40792653193642503]
  フィッシングメールの検出における大規模言語モデル(LLM)の有効性について検討した。 実験により, LLMは高精度で高い精度を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-07T08:45:50Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• Next-Generation Phishing: How LLM Agents Empower Cyber Attackers [10.067883724547182]
  フィッシングメールのエスカレートする脅威は、Large Language Models(LLMs)の台頭により、ますます洗練されつつある。 攻撃者はLSMを利用して、より説得力があり回避的なフィッシングメールを作成するため、現在のフィッシング防御のレジリエンスを評価することが不可欠である。 我々は、Gmail Spam Filter、Apache SpamAssassin、Proofpointなどの従来のフィッシング検出と、SVM、Logistic Regression、Naive Bayesといった機械学習モデルに関する包括的な評価を行います。 以上の結果から,全検知器にまたがるリフレッシュメールの検出精度は著しく低下し,現在のフィッシング防御における重大な弱点が浮き彫りになった。
  論文  参考訳（メタデータ） (2024-11-21T06:20:29Z)
• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• APOLLO: A GPT-based tool to detect phishing emails and generate explanations that warn users [2.3618982787621]
  大規模言語モデル(LLM)は、様々なドメインでテキスト処理を約束する。 我々は,OpenAIのGPT-4oに基づくツールであるAPOLLOを紹介し,フィッシングメールを検出し,説明メッセージを生成する。 また,20名の被験者を対象に,フィッシング警告として提示された4つの説明を比較検討した。
  論文  参考訳（メタデータ） (2024-10-10T14:53:39Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Novel Interpretable and Robust Web-based AI Platform for Phishing Email Detection [0.0]
  フィッシングメールは重大な脅威となり、財政的損失とセキュリティ侵害を引き起こしている。 本研究では,メール分類のための高性能機械学習モデルを提案する。 このモデルはf1スコアが0.99に達し、関連するアプリケーションへのデプロイ用に設計されている。
  論文  参考訳（メタデータ） (2024-05-19T17:18:27Z)
• TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning [63.481446315733145]
  多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。 本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。 本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
  論文  参考訳（メタデータ） (2024-04-30T14:43:57Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Cognitive Overload: Jailbreaking Large Language Models with Overloaded Logical Thinking [60.78524314357671]
  本研究では,大規模言語モデル(LLM)の認知的構造とプロセスをターゲットにした新しいジェイルブレイク攻撃のカテゴリについて検討する。 提案する認知的オーバーロードはブラックボックス攻撃であり、モデルアーキテクチャやモデルウェイトへのアクセスの知識は不要である。 AdvBenchとMasterKeyで実施された実験では、人気のあるオープンソースモデルであるLlama 2とプロプライエタリモデルであるChatGPTの両方を含む様々なLLMが、認知的オーバーロードによって妥協可能であることが明らかになった。
  論文  参考訳（メタデータ） (2023-11-16T11:52:22Z)
• Baseline Defenses for Adversarial Attacks Against Aligned Language Models [109.75753454188705]
  最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。 検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。 テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
  論文  参考訳（メタデータ） (2023-09-01T17:59:44Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• Detecting Phishing Sites Using ChatGPT [2.3999111269325266]
  本稿では,大規模言語モデル(LLM)を用いてフィッシングサイトを検出するChatPhishDetectorという新しいシステムを提案する。 本システムでは,Webクローラを利用してWebサイトから情報を収集し,クローリングデータに基づいてLLMのプロンプトを生成し,LLMが生成した応答から検出結果を取得する。 GPT-4Vを用いた実験結果は、98.7%の精度と99.6%のリコールで優れた性能を示し、他のLLMや既存のシステムよりも優れていた。
  論文  参考訳（メタデータ） (2023-06-09T11:30:08Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Spear Phishing With Large Language Models [3.2634122554914002]
  本研究では,スピアフィッシングに大規模言語モデル(LLM)を用いる方法について検討した。 私はOpenAIのGPT-3.5とGPT-4モデルを使用して、600人以上の英国議会議員に対して独自のフィッシングメッセージを作成します。 私の発見は、これらのメッセージが現実的であるだけでなく、コスト効率も高いという証拠を提供しています。
  論文  参考訳（メタデータ） (2023-05-11T16:55:19Z)
• Targeted Phishing Campaigns using Large Scale Language Models [0.0]
  フィッシングメール(英: Phishing email)とは、個人を騙して機密情報を明らかにしたり、攻撃者に利益をもたらす行動を起こさせる不正なメッセージである。 生成したテキストの品質など,様々な基準に基づき,これらの電子メールを生成する際のNLMの性能を評価するためのフレームワークを提案する。 評価の結果,NLMは個人を騙すのが難しいフィッシングメールを生成することができるが,その有効性は特定のNLMとトレーニングデータに基づいて異なることがわかった。
  論文  参考訳（メタデータ） (2022-12-30T03:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。