Fugu-MT 論文翻訳(概要): How Can We Effectively Use LLMs for Phishing Detection?: Evaluating the Effectiveness of Large Language Model-based Phishing Detection Models

論文の概要: How Can We Effectively Use LLMs for Phishing Detection?: Evaluating the Effectiveness of Large Language Model-based Phishing Detection Models

arxiv url: http://arxiv.org/abs/2511.09606v1
Date: Fri, 14 Nov 2025 01:01:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-14 22:53:22.372241
Title: How Can We Effectively Use LLMs for Phishing Detection?: Evaluating the Effectiveness of Large Language Model-based Phishing Detection Models
Title（参考訳）: フィッシング検出にLLMを効果的に利用する方法:大規模言語モデルに基づくフィッシング検出モデルの有効性の評価
Authors: Fujiao Ji, Doowon Kim,
Abstract要約: 大型言語モデル(LLM)は、将来性のあるフィッシング検出メカニズムとして登場した。本研究では, LLMのフィッシング検出への応用について検討した。入力モダリティ(スクリーンショット,ロゴ,HTML,URL)の影響,温度設定,エンジニアリング戦略の促進について検討する。
参考スコア（独自算出の注目度）: 3.281529187210269
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLMs) have emerged as a promising phishing detection mechanism, addressing the limitations of traditional deep learning-based detectors, including poor generalization to previously unseen websites and a lack of interpretability. However, LLMs' effectiveness for phishing detection remains unexplored. This study investigates how to effectively leverage LLMs for phishing detection (including target brand identification) by examining the impact of input modalities (screenshots, logos, HTML, and URLs), temperature settings, and prompt engineering strategies. Using a dataset of 19,131 real-world phishing websites and 243 benign sites, we evaluate seven LLMs -- two commercial models (GPT 4.1 and Gemini 2.0 flash) and five open-source models (Qwen, Llama, Janus, DeepSeek-VL2, and R1) -- alongside two deep learning (DL)-based baselines (PhishIntention and Phishpedia). Our findings reveal that commercial LLMs generally outperform open-source models in phishing detection, while DL models demonstrate better performance on benign samples. For brand identification, screenshot inputs achieve optimal results, with commercial LLMs reaching 93-95% accuracy and open-source models, particularly Qwen, achieving up to 92%. However, incorporating multiple input modalities simultaneously or applying one-shot prompts does not consistently enhance performance and may degrade results. Furthermore, higher temperature values reduce performance. Based on these results, we recommend using screenshot inputs with zero temperature to maximize accuracy for LLM-based detectors with HTML serving as auxiliary context when screenshot information is insufficient.
Abstract（参考訳）: 大型言語モデル(LLM)は、従来のディープラーニングベースの検出器の限界に対処する、将来性のあるフィッシング検出メカニズムとして登場した。しかし, LLMによるフィッシング検出の有効性は未解明のままである。本研究では,入力モダリティ(スクリーンショット,ロゴ,HTML,URL),温度設定,エンジニアリング戦略などの影響を検証し,フィッシング検出(ターゲットブランド識別を含む)にLLMを効果的に活用する方法を検討する。 19,131の現実世界のフィッシングサイトと243の良質なサイトからなるデータセットを用いて、7つのLCM – 2つの商用モデル(GPT 4.1とGemini 2.0フラッシュ)と5つのオープンソースモデル(Qwen、Llama、Janus、DeepSeek-VL2、R1)と、2つのディープラーニング(DL)ベースのベースライン(PhishIntentionとPhishpedia)を評価します。その結果,商業LLMはフィッシング検出においてオープンソースモデルよりも優れており,DLモデルは良質なサンプルに対して優れた性能を示すことがわかった。ブランド識別において、スクリーンショット入力は最適な結果を得ることができ、商用のLCMは93-95%の精度に達し、オープンソースモデル、特にQwenは最大92%に達する。しかし、複数の入力モダリティを同時に組み込んだり、ワンショットプロンプトを適用したりすることは、パフォーマンスを継続的に向上させるものではなく、結果を劣化させる可能性がある。さらに、高い温度値によって性能が低下する。これらの結果に基づき、スクリーンショット情報が不十分な場合の補助的コンテキストとしてHTMLを用いたLCM検出器の精度を最大化するために、ゼロ温度のスクリーンショット入力を使用することを推奨する。

関連論文リスト

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文参考訳（メタデータ） (2025-09-10T17:58:53Z)
Paladin: Defending LLM-enabled Phishing Emails with a New Trigger-Tag Paradigm [26.399199616508596]
悪意のあるユーザは、スペルミスなどの簡単に検出可能な機能のないフィッシングメールを合成することができる。このようなモデルはトピック固有のフィッシングメッセージを生成し、ターゲットドメインにコンテンツを調整することができる。既存の意味レベル検出アプローチのほとんどは、それらを確実に識別するのに苦労している。本稿では,様々な挿入戦略を用いてトリガータグ関連をバニラLSMに埋め込むパラジンを提案する。計測されたLLMがフィッシングに関連するコンテンツを生成すると、検出可能なタグが自動的に含まれ、識別が容易になる。
論文参考訳（メタデータ） (2025-09-08T23:44:00Z)
RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
論文参考訳（メタデータ） (2025-08-18T17:59:15Z)
Phishing Detection in the Gen-AI Era: Quantized LLMs vs Classical Models [1.4999444543328293]
フィッシング攻撃はますます洗練され、高精度と計算効率のバランスをとる検知システムの必要性が強調されている。本稿では、フィッシング検出のための従来の機械学習(ML)、ディープラーニング(DL)、および量子化された小パラメータ大規模言語モデル(LLM)の比較評価を行う。現在,LLMはML法やDL法に比べて精度が低いが,文脈に基づく微妙なフィッシング手法を識別する可能性が強い。
論文参考訳（メタデータ） (2025-07-10T04:01:52Z)
EXPLICATE: Enhancing Phishing Detection through Explainable AI and LLM-Powered Interpretability [44.2907457629342]
EXPLICATEは、三成分アーキテクチャによるフィッシング検出を強化するフレームワークである。既存のディープラーニング技術と同等ですが、説明性が向上しています。自動AIとフィッシング検出システムにおけるユーザ信頼の重大な隔たりに対処する。
論文参考訳（メタデータ） (2025-03-22T23:37:35Z)
LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文参考訳（メタデータ） (2024-12-29T06:32:36Z)
Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
本稿では,Flamesという値アライメントベンチマークを提案する。一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
論文参考訳（メタデータ） (2023-11-12T17:18:21Z)
Detecting Phishing Sites Using ChatGPT [2.3999111269325266]
本稿では,大規模言語モデル(LLM)を用いてフィッシングサイトを検出するChatPhishDetectorという新しいシステムを提案する。本システムでは,Webクローラを利用してWebサイトから情報を収集し,クローリングデータに基づいてLLMのプロンプトを生成し,LLMが生成した応答から検出結果を取得する。 GPT-4Vを用いた実験結果は、98.7%の精度と99.6%のリコールで優れた性能を示し、他のLLMや既存のシステムよりも優れていた。
論文参考訳（メタデータ） (2023-06-09T11:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。