論文の概要: Assessing AI vs Human-Authored Spear Phishing SMS Attacks: An Empirical Study

• arxiv url: http://arxiv.org/abs/2406.13049v2
• Date: Wed, 19 Mar 2025 00:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:21:19.713209
• Title: Assessing AI vs Human-Authored Spear Phishing SMS Attacks: An Empirical Study
• Title（参考訳）: AIと人間認証スパイアによるSMS攻撃の評価:実証研究
• Authors: Jerson Francia, Derek Hansen, Ben Schooley, Matthew Taylor, Shydra Murray, Greg Snow,
• Abstract要約: 本稿では,GPT-4と人文作家が作成したSMSフィッシング(SMSフィッシング)メッセージの有効性について検討する。 実験では、スピアフィッシングメッセージのランク付けと質的なフィードバックの提供、どのメッセージが人間かAIが生成したかを推測した。 結果は、LLM生成メッセージは、人間、特に仕事関連のメッセージよりも説得力が高いと認識されることが多いことを示している。
• 参考スコア（独自算出の注目度）: 1.099532646524593
• License:
• Abstract: This paper explores the use of Large Language Models (LLMs) in spear phishing message generation and evaluates their performance compared to human-authored counterparts. Our pilot study examines the effectiveness of smishing (SMS phishing) messages created by GPT-4 and human authors, which have been personalized for willing targets. The targets assessed these messages in a modified ranked-order experiment using a novel methodology we call TRAPD (Threshold Ranking Approach for Personalized Deception). Experiments involved ranking each spear phishing message from most to least convincing, providing qualitative feedback, and guessing which messages were human- or AI-generated. Results show that LLM-generated messages are often perceived as more convincing than those authored by humans, particularly job-related messages. Targets also struggled to distinguish between human- and AI-generated messages. We analyze different criteria the targets used to assess the persuasiveness and source of messages. This study aims to highlight the urgent need for further research and improved countermeasures against personalized AI-enabled social engineering attacks.
• Abstract（参考訳）: 本稿では,スピアフィッシングメッセージ生成におけるLarge Language Models (LLMs) の利用について検討し,その性能を人為的に評価する。 本研究は,GPT-4と人文作家が作成したSMSフィッシング(SMSフィッシング)メッセージの有効性について検討した。 ターゲットはTRAPD(Threshold Ranking Approach for Personalized Deception)と呼ばれる新しい手法を用いて,これらのメッセージのランク付け実験を行った。 実験では、スピアフィッシングメッセージのランク付けと質的なフィードバックの提供、どのメッセージが人間かAIが生成したかを推測した。 結果は、LLM生成メッセージは、人間、特に仕事関連のメッセージよりも説得力が高いと認識されることが多いことを示している。 ターゲットはまた、人間とAIが生成するメッセージの区別にも苦労した。 我々は、メッセージの説得性と発信源を評価するためにターゲットが用いた異なる基準を分析する。 本研究の目的は、パーソナライズされたAI対応ソーシャルエンジニアリング攻撃に対するさらなる研究の必要性と対策の改善を明らかにすることである。

関連論文リスト

• Detection and Prevention of Smishing Attacks [0.0]
  本研究は,コンテンツに基づく分析手法を用いてスマイシング検出モデルを提案する。 テキスト通信におけるスラング、略語、短い形式によって引き起こされる課題に対処するため、モデルはこれらを標準形式に標準化する。 実験結果はモデルの有効性を示し、分類精度は97.14%、スマイッシングは96.12%、ハムメッセージは96.12%である。
  論文  参考訳（メタデータ） (2024-12-31T04:07:12Z)
• Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News [0.38233569758620056]
  本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。 次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。 提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
  論文  参考訳（メタデータ） (2024-06-20T06:02:04Z)
• Evaluating the Efficacy of Large Language Models in Identifying Phishing Attempts [2.6012482282204004]
  何十年にもわたるサイバー犯罪戦術であるフィッシングは、今日のデジタル世界において大きな脅威となっている。 本稿では,15大言語モデル (LLM) がフィッシング手法の検出に有効であることを示す。
  論文  参考訳（メタデータ） (2024-04-23T19:55:18Z)
• How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
  チューリングテストに触発された評価フレームワークECHOを紹介する。 この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。 基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
  論文  参考訳（メタデータ） (2024-04-22T08:00:51Z)
• LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model [58.887561071010985]
  パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。 既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。 本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-12T12:10:18Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• A Quantitative Study of SMS Phishing Detection [0.0]
  参加者187名を対象に,スマイシング検出に関するオンライン調査を行った。 我々は16のSMSスクリーンショットを提示し、異なる要因がスマイシング検出における意思決定プロセスに与える影響を評価した。 参加者は偽のメッセージで67.1%、本物のメッセージで43.6%の精度で、偽のメッセージから本物のメッセージを見つけるのが困難であることが判明した。
  論文  参考訳（メタデータ） (2023-11-12T17:56:42Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Targeted Phishing Campaigns using Large Scale Language Models [0.0]
  フィッシングメール(英: Phishing email)とは、個人を騙して機密情報を明らかにしたり、攻撃者に利益をもたらす行動を起こさせる不正なメッセージである。 生成したテキストの品質など,様々な基準に基づき,これらの電子メールを生成する際のNLMの性能を評価するためのフレームワークを提案する。 評価の結果,NLMは個人を騙すのが難しいフィッシングメールを生成することができるが,その有効性は特定のNLMとトレーニングデータに基づいて異なることがわかった。
  論文  参考訳（メタデータ） (2022-12-30T03:18:05Z)
• Few-Shot Stance Detection via Target-Aware Prompt Distillation [48.40269795901453]
  本論文は,知識ベースや少人数の学習者を対象とした事前学習型言語モデル(PLM)の可能性に着想を得たものである。 PLMは、ターゲットに対して重要なコンテキスト情報を提供し、プロンプトを介して数発の学習を可能にする。 姿勢検出タスクにおいて,対象が重要な役割を担っていることを考慮し,目標認識プロンプトを設計し,新しい言語化手法を提案する。
  論文  参考訳（メタデータ） (2022-06-27T12:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。