論文の概要: Adversarial Robustness of Phishing Email Detection: A Comparative Study of TF-IDF + Logistic Regression and Fine-Tuned DistilBERT
- arxiv url: http://arxiv.org/abs/2607.18429v1
- Date: Mon, 20 Jul 2026 18:28:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.214022
- Title: Adversarial Robustness of Phishing Email Detection: A Comparative Study of TF-IDF + Logistic Regression and Fine-Tuned DistilBERT
- Title(参考訳): フィッシングメール検出の対向的ロバスト性:TF-IDF+ロジスティック回帰と微調整 DistilBERTの比較検討
- Abstract要約: 本稿では,TF-IDF+ロジスティック回帰ベースラインと,82,255メールの統一コーパスを用いた微調整DistilBERT変換器の比較を行った。
両モデルともクリーンデータでは98%の精度を達成したが、敵の試験では急激に劣化した。
その結果, クリーンデータの精度は逆方向の頑健さを予測せず, 逆方向のテストはフィッシング検出評価の標準部分であることが明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Phishing emails remain one of the most persistent cybersecurity threats, and machine-learning classifiers are widely used to detect them. Most reported detection accuracies, however, are measured on clean, in-distribution test data rather than on emails deliberately altered to evade detection. This paper reports a controlled, pairwise comparison of two phishing-detection approaches a TF-IDF + Logistic Regression baseline and a fine-tuned DistilBERT transformer trained on a unified corpus of 82,255 emails drawn from six public datasets and evaluated under three conditions: normal in-distribution, synthetic phishing, and adversarial phishing. Both models exceeded 98% accuracy on clean data yet degraded sharply under adversarial testing: TF-IDF + LR fell to 64.00% (a 34.59-percentage-point drop) and DistilBERT fell to 63.64% (a 35.40-percentage-point drop) a gap of only 0.36 percentage points, equivalent to a single email in the 275-sample adversarial test set. LIME, SHAP, and attention-rollout analysis indicate the two models relied on different evidence yet showed similar vulnerability. Pairwise error analysis shows the models agreed on 54.9% of adversarial samples but each made a similar number of exclusive errors (24 and 25 respectively), indicating partly complementary rather than identical failure modes. The results show that clean-data accuracy does not predict adversarial robustness, and that adversarial testing should be a standard part of phishing-detection evaluation.
- Abstract(参考訳): フィッシングメールは依然として最も永続的なサイバーセキュリティの脅威の1つであり、機械学習の分類器はそれらを検出するために広く使われている。
しかし、報告されているほとんどの検出精度は、検出を避けるために意図的に変更された電子メールではなく、クリーンで配布中のテストデータに基づいて測定される。
本稿では,TF-IDF+ロジスティック回帰ベースラインと,6つのパブリックデータセットから抽出された82,255個のメールの統一コーパスに基づいて学習し,正規分布,合成フィッシング,対向フィッシングの3つの条件下で評価した微調整DistilBERTトランスフォーマーの2つのフィッシング検出アプローチの制御と相互比較を行った。
TF-IDF + LRは64.00%(34.59ポイント・ドロップ)、DistilBERTは63.64%(35.40ポイント・ドロップ)に低下した。
LIME、SHAP、アテンションロールアウト分析は、2つのモデルが異なる証拠に依存していることを示しているが、同様の脆弱性を示した。
ペアワイズエラー分析は、54.9%のサンプルで一致したモデルを示しているが、それぞれに同じ数の排他的エラー(24と25)があり、同じ障害モードではなく部分的に補完的であることを示している。
その結果, クリーンデータの精度は逆方向の頑健さを予測せず, 逆方向の検定はフィッシング検出評価の標準部分であることが明らかとなった。
関連論文リスト
- Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [66.44527094471619]
本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。
3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-09-15T00:31:01Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳(メタデータ) (2026-09-14T17:13:05Z) - SHIFT-M3: Pre-fusion Alignment-based Consistency Screening for Multimodal ECG Record Integrity [0.0]
マルチモーダルな臨床AIは通常、波形、レポート、メタデータ、下流の予測が同一患者のものであると仮定する。
我々は、この問題をマルチモーダルレコード整合性トリアージとして研究している。
本稿では、2つの別々のECGテキストビュー間のアライメントベースの一貫性を測定する軽量テキストベースのプリフュージョンスクリーンShift-M3を紹介する。
論文 参考訳(メタデータ) (2026-09-12T10:58:02Z) - Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2 [0.0]
メンバーシップ推論攻撃(MIA)は、モデルをトレーニングするために特定のレコードが使用されたかどうかを判断しようとする。
本稿では,GLUE SST-2感情データセットを用いたテキスト分類におけるメンバシップ推定脆弱性のベンチマークを提案する。
論文 参考訳(メタデータ) (2026-09-10T00:53:20Z) - Evaluating Large Language Models for Symbolic Security Protocol Analysis [1.0499611180329804]
本研究では,Large Language Models (LLMs) が同等な解析を行うことができるかを評価する。
私たちはGPTとDeepSeekを、130の難読化されたAnB/AnBxプロトコル上で3回、チャットと推論モードでテストします。
論文 参考訳(メタデータ) (2026-07-22T20:29:59Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - Calibration Without Comprehension: Diagnosing the Limits of Fine-Tuning LLMs for Vulnerability Detection in Systems Software [1.0026496861838445]
CWE-Traceは、手動でキュレートされたLinuxカーネルサンプルから構築された脆弱性検出フレームワークである。
対象でない検出,ターゲット検出,CWE分類において,8つのバニラLLMと15のLORA微調整変異体を評価した。
論文 参考訳(メタデータ) (2026-06-18T17:19:26Z) - Building an Adversarial Malware Dataset by Family and Type: Generation, Evasion, and Poisoning Evaluation [0.0]
実世界のマルウェアバイナリの公開RawMal-TFコレクションから得られた,敵対的なマルウェアサンプルのデータセットを提案する。
敵のマルウェア生成装置群を用いて, 44,347のファミリーラベル付きサンプルと33,596のタイプラベル付きサンプルの2組の逆PEファイルを構築した。
各対向バイナリには、EMBERスコアや VirusTotal 分類を含む詳細なメタデータが添付されている。
論文 参考訳(メタデータ) (2026-05-25T15:17:02Z) - X-MAP: eXplainable Misclassification Analysis and Profiling for Spam and Phishing Detection [16.604623864453043]
本稿では,eXplainable Misclassification Analysis and Profilling frameworkであるX-MAPを提案する。
X-MAPは、確実に分類されたスパム/フィッシングと正当なメッセージのための解釈可能なトピックプロファイルを構築する。
検出器として、X-MAP は最大 0.98 AUROC を達成し、正の予測で 95% TRR から 0.089 に誤射率を下げる。
論文 参考訳(メタデータ) (2026-02-17T01:46:08Z) - WISE: Web Information Satire and Fakeness Evaluation [0.9694940903078657]
軽量モデルであるMiniLMは、すべてのモデルの中で最高の精度(87.58%)を達成する。
DistilBERTは86.28%の精度と93.90%のROC-AUCで優れた効率精度のトレードオフを提供する。
論文 参考訳(メタデータ) (2025-12-30T05:44:32Z) - Deep Reinforcement Learning for Phishing Detection with Transformer-Based Semantic Features [0.0]
フィッシング(英: Phishing)とは、個人が個人情報を明らかにすることを欺くサイバー犯罪である。
本研究では,RoBERTaセマンティック埋め込みを手作り語彙特徴と統合したQuantile Deep Q-Network (QR-DQN)アプローチを提案する。
PhishTank、OpenPhish、Cloudflare、その他のソースから105,000のURLのさまざまなデータセットが収集された。
論文 参考訳(メタデータ) (2025-12-07T17:08:12Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳(メタデータ) (2025-10-02T02:14:33Z) - BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。
本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
論文 参考訳(メタデータ) (2025-07-14T17:13:06Z) - CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。
この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。
逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
論文 参考訳(メタデータ) (2024-10-30T15:06:44Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳(メタデータ) (2024-03-18T05:49:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。