論文の概要: PyraTrans: Attention-Enriched Pyramid Transformer for Malicious URL Detection
- arxiv url: http://arxiv.org/abs/2312.00508v2
- Date: Wed, 6 Dec 2023 16:46:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 13:25:19.076010
- Title: PyraTrans: Attention-Enriched Pyramid Transformer for Malicious URL Detection
- Title（参考訳）: PyraTrans: 悪意のあるURL検出のための注意深いピラミッド変換器
- Authors: Ruitong Liu, Yanbin Wang, Zhenhao Guo, Haitao Xu, Zhan Qin, Wenrui Ma, Fan Zhang,
- Abstract要約: PyraTransは、事前訓練されたトランスフォーマーとピラミッド特徴学習を統合して、悪意のあるURLを検出する新しい方法である。
いくつかの挑戦的な実験シナリオにおいて、提案手法は精度、一般化、堅牢性を著しく改善した。
- 参考スコア（独自算出の注目度）: 9.873643699502853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although advancements in machine learning have driven the development of malicious URL detection technology, current techniques still face significant challenges in their capacity to generalize and their resilience against evolving threats. In this paper, we propose PyraTrans, a novel method that integrates pretrained Transformers with pyramid feature learning to detect malicious URL. PyraTrans utilizes a pretrained CharBERT as its foundation and is augmented with three interconnected feature modules: 1) Encoder Feature Extraction, extracting multi-order feature matrices from each CharBERT encoder layer; 2) Multi-Scale Feature Learning, capturing local contextual insights at various scales and aggregating information across encoder layers; and 3) Spatial Pyramid Attention, focusing on regional-level attention to emphasize areas rich in expressive information. The proposed approach addresses the limitations of the Transformer in local feature learning and regional relational awareness, which are vital for capturing URL-specific word patterns, character combinations, or structural anomalies. In several challenging experimental scenarios, the proposed method has shown significant improvements in accuracy, generalization, and robustness in malicious URL detection. For instance, it achieved a peak F1-score improvement of 40% in class-imbalanced scenarios, and exceeded the best baseline result by 14.13% in accuracy in adversarial attack scenarios. Additionally, we conduct a case study where our method accurately identifies all 30 active malicious web pages, whereas two pior SOTA methods miss 4 and 7 malicious web pages respectively. Codes and data are available at:https://github.com/Alixyvtte/PyraTrans.
- Abstract（参考訳）: マシンラーニングの進歩は、悪意のあるURL検出技術の開発を加速させたが、現在のテクニックは、一般化する能力と、進化する脅威に対するレジリエンスにおいて、依然として重大な課題に直面している。
本稿では、事前学習されたトランスフォーマーとピラミッド特徴学習を統合し、悪意のあるURLを検出する新しい方法であるPiraTransを提案する。
PyraTransは、事前訓練されたCharBERTを基礎として、3つの相互接続機能モジュールで拡張している。
1)各CharBERTエンコーダ層から多階特徴行列を抽出するエンコーダ特徴抽出
2 マルチスケール特徴学習、様々な規模における局所的文脈的洞察の収集、エンコーダ層間の情報の集約、及び
3)空間的ピラミッドの注意,表現情報に富む地域を強調する地域レベルの注意に焦点をあてる。
提案手法は,URL固有の単語パターン,文字の組み合わせ,構造的異常を捉える上で不可欠な,局所的特徴学習と地域関係認識におけるTransformerの限界に対処する。
いくつかの挑戦的な実験シナリオにおいて、提案手法は、悪意のあるURL検出における精度、一般化、堅牢性を著しく改善した。
例えば、クラス不均衡のシナリオでは最大40%のF1スコア向上を達成し、敵の攻撃シナリオでは14.13%の精度で最高のベースラインを突破した。
さらに,本手法では,30のアクティブなWebページを正確に識別するケーススタディを実施し,一方,2つのピアSOTAメソッドは,それぞれ4と7の悪意のあるWebページを欠いている。
コードとデータは、https://github.com/Alixyvtte/PyraTransで公開されている。
関連論文リスト
- Few-Shot API Attack Detection: Overcoming Data Scarcity with GAN-Inspired Learning [9.035212370386846]
本稿では,NLP(Natural Language Processing)とGAN(Generative Adrialversa Network)にインスパイアされた新たな手法を提案する。
提案手法では,API要求の文脈的理解が向上し,従来の手法と比較して異常検出が改善された。
論文 参考訳（メタデータ） (2024-05-18T11:10:45Z) - AntiPhishStack: LSTM-based Stacked Generalization Model for Optimized
Phishing URL Detection [0.32141666878560626]
本稿では,フィッシングサイトを検出するための2相スタック一般化モデルであるAntiPhishStackを提案する。
このモデルは、URLと文字レベルのTF-IDF特徴の学習を対称的に活用し、新たなフィッシング脅威に対処する能力を高める。
良性およびフィッシングまたは悪意のあるURLを含む2つのベンチマークデータセットに対する実験的検証は、既存の研究と比較して96.04%の精度で、このモデルの例外的な性能を示している。
論文 参考訳（メタデータ） (2024-01-17T03:44:27Z) - Malicious URL Detection via Pretrained Language Model Guided Multi-Level Feature Attention Network [15.888763097896339]
本稿では、悪質なURL検出のための効率的な事前学習モデルベースのフレームワークを提案する。
階層的特徴抽出,層認識型注意,空間ピラミッドプールの3つの重要なモジュールを開発した。
提案手法は複数の公開データセットに対して広範囲に検証されている。
論文 参考訳（メタデータ） (2023-11-21T06:23:08Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Backdoor Attacks for Remote Sensing Data with Wavelet Transform [14.50261153230204]
本稿では,リモートセンシングデータに対するバックドア攻撃の系統的解析を行う。
そこで本研究では, 有害画像にトリガ画像を注入することで, 目に見えない攻撃を可能にする新しいウェーブレット変換ベースアタック(WABA)手法を提案する。
その単純さにもかかわらず、提案手法は攻撃成功率の高い最先端のディープラーニングモデルをかなり騙すことができる。
論文 参考訳（メタデータ） (2022-11-15T10:49:49Z) - The Devil is in the Details: On Models and Training Regimes for Few-Shot
Intent Classification [81.60168035505039]
Few-shot Classification (FSIC) は、モジュラータスク指向の対話システムにおいて重要な課題の1つである。
クロスエンコーダアーキテクチャとエピソードメタラーニングがFSICの最高の性能をもたらすことを示す。
本研究は,FSICにおける最先端研究の実施の道筋をたどるものである。
論文 参考訳（メタデータ） (2022-10-12T17:37:54Z) - Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。
Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。
提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
論文 参考訳（メタデータ） (2022-07-21T22:17:21Z) - Defect Transformer: An Efficient Hybrid Transformer Architecture for
Surface Defect Detection [2.0999222360659604]
表面欠陥検出のための効率的なハイブリッドトランスアーキテクチャであるDefect Transformer (DefT)を提案する。
DefTはCNNとTransformerを統一モデルに組み込んで、局所的および非局所的関係を協調的にキャプチャする。
3つのデータセットの実験は、他のCNNやトランスフォーマーベースのネットワークと比較して、我々の手法の優位性と効率性を実証している。
論文 参考訳（メタデータ） (2022-07-17T23:37:48Z) - Dual Vision Transformer [114.1062057736447]
デュアルビジョントランス(Dual-ViT)という,コスト問題を緩和する新しいトランスフォーマーアーキテクチャを提案する。
新しいアーキテクチャでは、トークンベクトルをより効率的にグローバルなセマンティックスに圧縮し、複雑さの順序を減らし、重要なセマンティックパスが組み込まれている。
我々は、Dual-ViTが訓練の複雑さを低減したSOTAトランスフォーマーアーキテクチャよりも優れた精度を提供することを実証的に実証した。
論文 参考訳（メタデータ） (2022-07-11T16:03:44Z) - Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。
そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。
提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文 参考訳（メタデータ） (2021-03-30T16:19:27Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳（メタデータ） (2021-03-22T18:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。