論文の概要: Can Large Language Models Improve Phishing Defense? A Large-Scale Controlled Experiment on Warning Dialogue Explanations

• arxiv url: http://arxiv.org/abs/2507.07916v1
• Date: Thu, 10 Jul 2025 16:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.499786
• Title: Can Large Language Models Improve Phishing Defense? A Large-Scale Controlled Experiment on Warning Dialogue Explanations
• Title（参考訳）: 大規模言語モデルはフィッシングディフェンスを改善することができるか? : 警告対話説明に関する大規模制御実験
• Authors: Federico Maria Cau, Giuseppe Desolda, Francesco Greco, Lucio Davide Spano, Luca Viganò,
• Abstract要約: フィッシングは現代のサイバーセキュリティにおいて顕著なリスクであり、予測可能な人間の行動を利用して技術防衛をバイパスするためにしばしば使用される。 警告対話は標準的な緩和手段であるが、説明的明快さと静的な内容の欠如は、その効果を制限している。 我々は,フィッシング警告の明確で簡潔でスケーラブルな説明を生成するために,大規模言語モデルの能力を評価する研究について報告する。
• 参考スコア（独自算出の注目度）: 2.854118480747787
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Phishing has become a prominent risk in modern cybersecurity, often used to bypass technological defences by exploiting predictable human behaviour. Warning dialogues are a standard mitigation measure, but the lack of explanatory clarity and static content limits their effectiveness. In this paper, we report on our research to assess the capacity of Large Language Models (LLMs) to generate clear, concise, and scalable explanations for phishing warnings. We carried out a large-scale between-subjects user study (N = 750) to compare the influence of warning dialogues supplemented with manually generated explanations against those generated by two LLMs, Claude 3.5 Sonnet and Llama 3.3 70B. We investigated two explanatory styles (feature-based and counterfactual) for their effects on behavioural metrics (click-through rate) and perceptual outcomes (e.g., trust, risk, clarity). The results indicate that well-constructed LLM-generated explanations can equal or surpass manually crafted explanations in reducing susceptibility to phishing; Claude-generated warnings exhibited particularly robust performance. Feature-based explanations were more effective for genuine phishing attempts, whereas counterfactual explanations diminished false-positive rates. Other variables such as workload, gender, and prior familiarity with warning dialogues significantly moderated warning effectiveness. These results indicate that LLMs can be used to automatically build explanations for warning users against phishing, and that such solutions are scalable, adaptive, and consistent with human-centred values.
• Abstract（参考訳）: フィッシングは現代のサイバーセキュリティにおいて顕著なリスクとなり、予測可能な人間の行動を利用して技術防衛をバイパスするためにしばしば使用される。 警告対話は標準的な緩和手段であるが、説明的明快さと静的な内容の欠如は、その効果を制限している。 本稿では,大規模言語モデル(LLM)のキャパシティを評価するために,フィッシング警告の明確で簡潔でスケーラブルな説明を生成する研究について報告する。 我々は,2つのLLM(Claude 3.5 Sonnet と Llama 3.3 70B)に対して,手動で作成した説明文を補足した警告対話の影響を比較するために,大規模な相互対象ユーザスタディ(N = 750)を行った。 本研究では,行動指標(クリックスルー率)と知覚結果(信頼,リスク,明確さ)に影響を及ぼす2つの説明スタイル(機能ベース,反事実)について検討した。 その結果, フィッシングに対する感受性を低下させるため, LLM による説明が手作業による説明と等しくあるいは相容れないことが示唆され, クロードによる警告は特に堅牢な性能を示した。 特徴に基づく説明は、真のフィッシングの試みに効果があったが、偽陽性率を低下させた。 その他の変数、例えば、作業負荷、性別、警告ダイアログに対する事前の親しみは、警告の有効性を著しく低下させた。 これらの結果から,LDMはフィッシングに対して警告を行うための説明を自動構築し,そのソリューションはスケーラブルで適応的であり,人間中心の値と整合性があることが示唆された。

関連論文リスト

• LLM Hypnosis: Exploiting User Feedback for Unauthorized Knowledge Injection to All Users [50.18141341939909]
  ユーザフィードバックで訓練された言語モデルにおける脆弱性について説明する。 単一ユーザは、LMの知識と振る舞いを永続的に変更することができる。 この攻撃は、モデルがこれまで持っていなかった事実的知識を挿入するのに有効であることを示す。
  論文  参考訳（メタデータ） (2025-07-03T17:55:40Z)
• Evaluating Large Language Models for Phishing Detection, Self-Consistency, Faithfulness, and Explainability [0.0]
  大規模言語モデル(LLM)は、ドメイン固有のフィッシング分類タスクを改善するための有望な方向性と可能性を示している。 LLMはフィッシングメールを正確に分類するだけでなく、予測に確実に適合し、内部に一貫性のある説明を生成することができるのか? BERT、Llamaモデル、Wizardなど、微調整されたトランスフォーマーベースのモデルを使って、ドメインの関連性を改善し、特定の区別をフィッシングするように調整しています。
  論文  参考訳（メタデータ） (2025-06-16T17:54:28Z)
• Wolf Hidden in Sheep's Conversations: Toward Harmless Data-Based Backdoor Attacks for Jailbreaking Large Language Models [69.11679786018206]
  Supervised Fine-tuning (SFT) は、大きな言語モデルと人間の意図を協調させ、ラベル付きタスク固有データでトレーニングする。 近年の研究では、悪意のある攻撃者が、有害な質問応答ペアにトリガーを埋め込むことで、これらのモデルにバックドアを注入できることが示されている。 脱獄性LLMに対する新しいクリーンデータバックドアアタックを提案する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• "Explain, Don't Just Warn!" -- A Real-Time Framework for Generating Phishing Warnings with Contextual Cues [2.6818118216403497]
  アンチフィッシングツールは一般的に一般的な警告を表示し、なぜウェブサイトが悪意があると考えられるのかをユーザーに限定的に説明する。 本稿では、既存の検出機構を強化するために設計された、リアルタイムで説明可能なフィッシング警告システムであるPhishXplainを紹介する。
  論文  参考訳（メタデータ） (2025-05-11T04:16:16Z)
• EXPLICATE: Enhancing Phishing Detection through Explainable AI and LLM-Powered Interpretability [44.2907457629342]
  EXPLICATEは、三成分アーキテクチャによるフィッシング検出を強化するフレームワークである。 既存のディープラーニング技術と同等ですが、説明性が向上しています。 自動AIとフィッシング検出システムにおけるユーザ信頼の重大な隔たりに対処する。
  論文  参考訳（メタデータ） (2025-03-22T23:37:35Z)
• When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations [58.27927090394458]
  大規模言語モデル(LLM)は、バックドア攻撃に弱いことが知られている。 本稿では,自然言語説明の新しいレンズによるバックドア攻撃について検討する。 以上の結果から,バックドアモデルではクリーンな入力に対してコヒーレントな説明が得られたが,有毒なデータに対して多様かつ論理的に欠陥のある説明が得られた。
  論文  参考訳（メタデータ） (2024-11-19T18:11:36Z)
• APOLLO: A GPT-based tool to detect phishing emails and generate explanations that warn users [2.3618982787621]
  大規模言語モデル(LLM)は、様々なドメインでテキスト処理を約束する。 我々は,OpenAIのGPT-4oに基づくツールであるAPOLLOを紹介し,フィッシングメールを検出し,説明メッセージを生成する。 また,20名の被験者を対象に,フィッシング警告として提示された4つの説明を比較検討した。
  論文  参考訳（メタデータ） (2024-10-10T14:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。