論文の概要: Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection
- arxiv url: http://arxiv.org/abs/2602.02641v1
- Date: Mon, 02 Feb 2026 18:56:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.003244
- Title: Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection
- Title(参考訳): ゼロショットとFew-shotのフィッシングURL検出のための大規模言語モデルのベンチマーク
- Authors: Najmul Hasan, Prashanth BusiReddyGari,
- Abstract要約: 偽のURLは、サイバー犯罪者による生成AIの普及により、前例のない高度化に達している。
フィッシング量は2022年以来4000%以上増加しており、検出を回避している攻撃は50%近く増加している。
我々は、ゼロショットと少数ショットのプロンプトを統一したフレームワークでLLMのベンチマークを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Uniform Resource Locator (URL), introduced in a connectivity-first era to define access and locate resources, remains historically limited, lacking future-proof mechanisms for security, trust, or resilience against fraud and abuse, despite the introduction of reactive protections like HTTPS during the cybersecurity era. In the current AI-first threatscape, deceptive URLs have reached unprecedented sophistication due to the widespread use of generative AI by cybercriminals and the AI-vs-AI arms race to produce context-aware phishing websites and URLs that are virtually indistinguishable to both users and traditional detection tools. Although AI-generated phishing accounted for a small fraction of filter-bypassing attacks in 2024, phishing volume has escalated over 4,000% since 2022, with nearly 50% more attacks evading detection. At the rate the threatscape is escalating, and phishing tactics are emerging faster than labeled data can be produced, zero-shot and few-shot learning with large language models (LLMs) offers a timely and adaptable solution, enabling generalization with minimal supervision. Given the critical importance of phishing URL detection in large-scale cybersecurity defense systems, we present a comprehensive benchmark of LLMs under a unified zero-shot and few-shot prompting framework and reveal operational trade-offs. Our evaluation uses a balanced dataset with consistent prompts, offering detailed analysis of performance, generalization, and model efficacy, quantified by accuracy, precision, recall, F1 score, AUROC, and AUPRC, to reflect both classification quality and practical utility in threat detection settings. We conclude few-shot prompting improves performance across multiple LLMs.
- Abstract(参考訳): 統一リソースロケータ(URL)は、接続ファースト時代に導入され、アクセスとリソースの発見を定義するが、歴史的に制限され、サイバーセキュリティ時代にHTTPSのようなリアクティブな保護が導入されているにもかかわらず、セキュリティ、信頼、不正行為に対するレジリエンスに対する将来の防御メカニズムが欠如している。
現在のAIファーストの脅威スケープでは、サイバー犯罪者によるジェネレーティブAIの普及と、コンテキスト対応のフィッシングWebサイトと、ユーザと従来の検出ツールの両方で事実上区別できないURLを作成するAI-vs-AIアームレースによって、偽造URLが前例のない高度なものに到達している。
AIが生成したフィッシングは2024年のフィルタバイパス攻撃のごく一部を占めるが、フィッシングボリュームは2022年以来4000%以上増加しており、検出を回避している攻撃は50%近く増加している。
脅威スケープがエスカレートし、ラベル付きデータよりも高速にフィッシングの戦術が出現し、大きな言語モデル(LLM)によるゼロショットと少数ショットの学習は、タイムリーで適応可能なソリューションを提供し、最小限の監視で一般化を可能にする。
大規模サイバーセキュリティ防衛システムにおけるフィッシングURL検出の重要性を考慮し、ゼロショットと少数ショットのプロンプトフレームワークを統一したLCMの総合ベンチマークを行い、運用上のトレードオフを明らかにする。
本評価では, 精度, 精度, リコール, F1スコア, AUROC, AUPRCによって定量化され, 脅威検出設定における分類品質と実用性の両方を反映した, 性能, 一般化, モデルの有効性の詳細な分析を行う。
数発のプロンプトによって複数のLLMの性能が向上する。
関連論文リスト
- CLASP: Cost-Optimized LLM-based Agentic System for Phishing Detection [0.8737375836744933]
本稿では,複数の知的エージェントを活用することにより,フィッシングサイトを効果的に識別する新しいシステムであるCLASPを提案する。
システムはURLまたはQRコードを処理し、URL構造、Webページのスクリーンショット、HTMLコンテンツを評価する特殊なLCMベースのエージェントを使用する。
CLASPは、収集されたデータセットのフィッシング検出のためのF1スコアを40%以上向上し、F1スコアを20%改善した。
論文 参考訳(メタデータ) (2025-10-21T12:38:52Z) - ParaVul: A Parallel Large Language Model and Retrieval-Augmented Framework for Smart Contract Vulnerability Detection [43.41293570032631]
ParaVulは、スマートコントラクト脆弱性検出の信頼性と精度を向上させるための、検索強化フレームワークである。
LLM微調整のためのスパースローランド適応(SLoRA)を開発した。
脆弱性契約データセットを構築し,RAG(Retrieval-Augmented Generation)システムを開発した。
論文 参考訳(メタデータ) (2025-10-20T03:23:41Z) - CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale [45.97598662617568]
我々は188のソフトウェアプロジェクトにわたる1,507の実際の脆弱性を特徴とする大規模ベンチマークであるCyberGymを紹介した。
我々はCyberGymが35のゼロデイ脆弱性と17の歴史的不完全なパッチを発見できることを示した。
これらの結果は、CyberGymは、サイバーセキュリティにおけるAIの進歩を測定するための堅牢なベンチマークであるだけでなく、直接的な現実世界のセキュリティ効果を生み出すためのプラットフォームでもあることを強調している。
論文 参考訳(メタデータ) (2025-06-03T07:35:14Z) - EXPLICATE: Enhancing Phishing Detection through Explainable AI and LLM-Powered Interpretability [44.2907457629342]
EXPLICATEは、三成分アーキテクチャによるフィッシング検出を強化するフレームワークである。
既存のディープラーニング技術と同等ですが、説明性が向上しています。
自動AIとフィッシング検出システムにおけるユーザ信頼の重大な隔たりに対処する。
論文 参考訳(メタデータ) (2025-03-22T23:37:35Z) - Web Phishing Net (WPN): A scalable machine learning approach for real-time phishing campaign detection [0.0]
現在、フィッシングはサイバー攻撃の最も一般的なタイプであり、データ漏洩の主な原因と認識されている。
本稿では,高速かつスケーラブルな教師なし学習手法を提案する。
ユーザのプライバシを保護しながら、高い検出率でキャンペーン全体を検出することができる。
論文 参考訳(メタデータ) (2025-02-17T15:06:56Z) - Efficient Phishing URL Detection Using Graph-based Machine Learning and Loopy Belief Propagation [12.89058029173131]
フィッシングURL検出のためのグラフベース機械学習モデルを提案する。
我々は、IPアドレスや権威名サーバのようなURL構造とネットワークレベルの機能を統合する。
実世界のデータセットの実験は、F1スコアを98.77%まで達成することで、我々のモデルの有効性を実証している。
論文 参考訳(メタデータ) (2025-01-12T19:49:00Z) - PEEK: Phishing Evolution Framework for Phishing Generation and Evolving Pattern Analysis using Large Language Models [10.455333111937598]
フィッシングはいまだに広範囲にわたるサイバー脅威であり、攻撃者は詐欺メールを使って被害者を誘惑し、機密情報を暴露している。
深層学習はフィッシング攻撃に対する防御において重要な要素となっているが、これらのアプローチは重大な制限に直面している。
フィッシングメールデータセットの質と多様性を向上するためのPEEK(Phishing Evolution FramEworK)を提案する。
論文 参考訳(メタデータ) (2024-11-18T09:03:51Z) - Countering Autonomous Cyber Threats [40.00865970939829]
ファンデーションモデルは、サイバードメイン内で広く、特に二元的関心事を提示します。
近年の研究では、これらの先進的なモデルが攻撃的なサイバースペース操作を通知または独立に実行する可能性を示している。
この研究は、孤立したネットワークでマシンを妥協する能力について、最先端のいくつかのFMを評価し、そのようなAIによる攻撃を倒す防御メカニズムを調査する。
論文 参考訳(メタデータ) (2024-10-23T22:46:44Z) - Transfer Learning in Pre-Trained Large Language Models for Malware Detection Based on System Calls [3.5698678013121334]
本研究は,システムコールデータに基づいてマルウェアを分類するために,大規模言語モデル(LLM)を利用した新しいフレームワークを提案する。
1TBを超えるシステムコールのデータセットによる実験では、BigBirdやLongformerのようなより大きなコンテキストサイズを持つモデルの方が精度が良く、F1スコアは約0.86である。
このアプローチは、ハイテイク環境におけるリアルタイム検出の大きな可能性を示し、サイバー脅威の進化に対する堅牢なソリューションを提供する。
論文 参考訳(メタデータ) (2024-05-15T13:19:43Z) - DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified
Robustness [58.23214712926585]
我々は,マルウェア検出領域の非ランダム化スムース化技術を再設計し,DRSM(De-Randomized Smoothed MalConv)を開発した。
具体的には,実行可能ファイルの局所構造を最大に保ちながら,逆数バイトの影響を確実に抑制するウィンドウアブレーション方式を提案する。
私たちは、マルウェア実行ファイルの静的検出という領域で、認証された堅牢性を提供する最初の人です。
論文 参考訳(メタデータ) (2023-03-20T17:25:22Z) - Enabling Efficient Cyber Threat Hunting With Cyber Threat Intelligence [94.94833077653998]
ThreatRaptorは、オープンソースのCyber Threat Intelligence(OSCTI)を使用して、コンピュータシステムにおける脅威追跡を容易にするシステムである。
構造化されていないOSCTIテキストから構造化された脅威行動を抽出し、簡潔で表現力豊かなドメイン固有クエリ言語TBQLを使用して悪意のあるシステムアクティビティを探索する。
広範囲にわたる攻撃事例の評価は、現実的な脅威狩りにおけるThreatRaptorの精度と効率を実証している。
論文 参考訳(メタデータ) (2020-10-26T14:54:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。