論文の概要: Assessing AI vs Human-Authored Spear Phishing SMS Attacks: An Empirical Study Using the TRAPD Method
- arxiv url: http://arxiv.org/abs/2406.13049v1
- Date: Tue, 18 Jun 2024 20:47:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 00:08:09.774235
- Title: Assessing AI vs Human-Authored Spear Phishing SMS Attacks: An Empirical Study Using the TRAPD Method
- Title（参考訳）: AI対人間認証スピアフィッシングSMS攻撃の評価:TRAPD法による実証研究
- Authors: Jerson Francia, Derek Hansen, Ben Schooley, Matthew Taylor, Shydra Murray, Greg Snow,
- Abstract要約: 本稿では,スピアフィッシングメッセージ生成におけるLarge Language Models(LLMs)の利用に対する懸念の高まりについて考察する。
我々のパイロット研究は、GPT-4と人間の著者が作成したSMSフィッシング(SMSフィッシング)メッセージの有効性を比較した。
- 参考スコア（独自算出の注目度）: 1.099532646524593
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper explores the rising concern of utilizing Large Language Models (LLMs) in spear phishing message generation, and their performance compared to human-authored counterparts. Our pilot study compares the effectiveness of smishing (SMS phishing) messages created by GPT-4 and human authors, which have been personalized to willing targets. The targets assessed the messages in a modified ranked-order experiment using a novel methodology we call TRAPD (Threshold Ranking Approach for Personalized Deception). Specifically, targets provide personal information (job title and location, hobby, item purchased online), spear smishing messages are created using this information by humans and GPT-4, targets are invited back to rank-order 12 messages from most to least convincing (and identify which they would click on), and then asked questions about why they ranked messages the way they did. They also guess which messages are created by an LLM and their reasoning. Results from 25 targets show that LLM-generated messages are most often perceived as more convincing than those authored by humans, with messages related to jobs being the most convincing. We characterize different criteria used when assessing the authenticity of messages including word choice, style, and personal relevance. Results also show that targets were unable to identify whether the messages was AI-generated or human-authored and struggled to identify criteria to use in order to make this distinction. This study aims to highlight the urgent need for further research and improved countermeasures against personalized AI-enabled social engineering attacks.
- Abstract（参考訳）: 本稿では,スピアフィッシングメッセージ生成におけるLarge Language Models (LLMs) の利用に対する懸念と,その性能について,人手によるものと比較して検討する。
我々のパイロット研究は、GPT-4と人間の著者が作成したSMSフィッシング(SMSフィッシング)メッセージの有効性を比較した。
ターゲットはTRAPD(Threshold Ranking Approach for Personalized Deception)と呼ばれる新しい手法を用いてランク付け実験を行った。
具体的には、ターゲットは個人情報(タイトルと場所、趣味、オンラインで購入したアイテム)を提供し、この情報を使って槍のスマイッシングメッセージを作成する。
また、LLMとその推論によって、どのメッセージが生成されるかも推測する。
25のターゲットから得られた結果は、LLMが生成したメッセージは、人間によって書かれたメッセージよりも説得力が高いと認識され、仕事に関連するメッセージが最も説得力があることを示している。
我々は、単語選択、スタイル、個人的関連性を含むメッセージの真正性を評価する際に用いる異なる基準を特徴付ける。
その結果、ターゲットはメッセージがAIによって生成されたのか、あるいは人間によって書かれたのかを特定することができず、この区別をするために使用する基準を特定するのに苦労していたことが明らかとなった。
本研究の目的は、パーソナライズされたAI対応ソーシャルエンジニアリング攻撃に対するさらなる研究の必要性と対策の改善を明らかにすることである。
関連論文リスト
- Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News [0.38233569758620056]
本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。
次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。
提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
論文 参考訳（メタデータ） (2024-06-20T06:02:04Z) - Evaluating the Efficacy of Large Language Models in Identifying Phishing Attempts [2.6012482282204004]
何十年にもわたるサイバー犯罪戦術であるフィッシングは、今日のデジタル世界において大きな脅威となっている。
本稿では,15大言語モデル (LLM) がフィッシング手法の検出に有効であることを示す。
論文 参考訳（メタデータ） (2024-04-23T19:55:18Z) - How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
チューリングテストに触発された評価フレームワークECHOを紹介する。
この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。
基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
論文 参考訳（メタデータ） (2024-04-22T08:00:51Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳（メタデータ） (2024-03-12T12:10:18Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-11-14T18:59:15Z) - A Quantitative Study of SMS Phishing Detection [0.0]
参加者187名を対象に,スマイシング検出に関するオンライン調査を行った。
我々は16のSMSスクリーンショットを提示し、異なる要因がスマイシング検出における意思決定プロセスに与える影響を評価した。
参加者は偽のメッセージで67.1%、本物のメッセージで43.6%の精度で、偽のメッセージから本物のメッセージを見つけるのが困難であることが判明した。
論文 参考訳（メタデータ） (2023-11-12T17:56:42Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-10-27T04:15:30Z) - ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political
Twitter Messages with Zero-Shot Learning [0.0]
本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。
2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
論文 参考訳（メタデータ） (2023-04-13T14:51:40Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Targeted Phishing Campaigns using Large Scale Language Models [0.0]
フィッシングメール(英: Phishing email)とは、個人を騙して機密情報を明らかにしたり、攻撃者に利益をもたらす行動を起こさせる不正なメッセージである。
生成したテキストの品質など,様々な基準に基づき,これらの電子メールを生成する際のNLMの性能を評価するためのフレームワークを提案する。
評価の結果,NLMは個人を騙すのが難しいフィッシングメールを生成することができるが,その有効性は特定のNLMとトレーニングデータに基づいて異なることがわかった。
論文 参考訳（メタデータ） (2022-12-30T03:18:05Z) - Few-Shot Stance Detection via Target-Aware Prompt Distillation [48.40269795901453]
本論文は,知識ベースや少人数の学習者を対象とした事前学習型言語モデル(PLM)の可能性に着想を得たものである。
PLMは、ターゲットに対して重要なコンテキスト情報を提供し、プロンプトを介して数発の学習を可能にする。
姿勢検出タスクにおいて,対象が重要な役割を担っていることを考慮し,目標認識プロンプトを設計し,新しい言語化手法を提案する。
論文 参考訳（メタデータ） (2022-06-27T12:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。