論文の概要: Transformers for End-to-End InfoSec Tasks: A Feasibility Study
- arxiv url: http://arxiv.org/abs/2212.02666v1
- Date: Mon, 5 Dec 2022 23:50:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 16:04:40.178144
- Title: Transformers for End-to-End InfoSec Tasks: A Feasibility Study
- Title（参考訳）: End-to-End InfoSecタスク用トランスフォーマの検討
- Authors: Ethan M. Rudd, Mohammad Saidur Rahman and Philip Tully
- Abstract要約: 私たちは2つの異なるInfoSecデータフォーマット、特にURLとPEファイルに対してトランスフォーマーモデルを実装します。
URLトランスフォーマーモデルは、高いパフォーマンスレベルに達するためには、異なるトレーニングアプローチが必要です。
提案手法は,PEファイルのベンチマークデータセット上で,確立されたマルウェア検出モデルに相容れない性能を示す。
- 参考スコア（独自算出の注目度）: 6.847381178288385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we assess the viability of transformer models in end-to-end
InfoSec settings, in which no intermediate feature representations or
processing steps occur outside the model. We implement transformer models for
two distinct InfoSec data formats - specifically URLs and PE files - in a novel
end-to-end approach, and explore a variety of architectural designs, training
regimes, and experimental settings to determine the ingredients necessary for
performant detection models. We show that in contrast to conventional
transformers trained on more standard NLP-related tasks, our URL transformer
model requires a different training approach to reach high performance levels.
Specifically, we show that 1) pre-training on a massive corpus of unlabeled URL
data for an auto-regressive task does not readily transfer to binary
classification of malicious or benign URLs, but 2) that using an auxiliary
auto-regressive loss improves performance when training from scratch. We
introduce a method for mixed objective optimization, which dynamically balances
contributions from both loss terms so that neither one of them dominates. We
show that this method yields quantitative evaluation metrics comparable to that
of several top-performing benchmark classifiers. Unlike URLs, binary
executables contain longer and more distributed sequences of information-rich
bytes. To accommodate such lengthy byte sequences, we introduce additional
context length into the transformer by providing its self-attention layers with
an adaptive span similar to Sukhbaatar et al. We demonstrate that this approach
performs comparably to well-established malware detection models on benchmark
PE file datasets, but also point out the need for further exploration into
model improvements in scalability and compute efficiency.
- Abstract（参考訳）: 本稿では,中間的な特徴表現や処理ステップがモデル外で発生しない,エンドツーエンドのInfoSec設定におけるトランスフォーマーモデルの有効性を評価する。
我々は、新しいエンドツーエンドアプローチで、2つの異なるInfoSecデータフォーマット(特にURLとPEファイル)のトランスフォーマーモデルを実装し、様々なアーキテクチャ設計、トレーニングレシシ、実験的な設定を探索し、パフォーマンス検出モデルに必要な要素を決定する。
より標準的なNLP関連のタスクで訓練された従来のトランスフォーマーとは対照的に、我々のURLトランスフォーマーモデルは高いパフォーマンスを達成するために異なるトレーニングアプローチを必要とする。
具体的には
1) 自動回帰作業のためのラベルなしURLデータの大量コーパスの事前訓練は、悪意のあるURLまたは良性のあるURLのバイナリ分類に容易に移行するわけではないが、
2) 補助的自己回帰損失を用いることで, スクラッチからトレーニングを行う際の性能が向上する。
そこで本研究では,両損失項からの貢献を動的にバランスさせる混合目的最適化手法を提案する。
本手法は,いくつかのトップパフォーマンスベンチマーク分類器に匹敵する定量的評価指標を示す。
urlとは異なり、バイナリ実行ファイルは、情報豊富なバイトのより長い分散シーケンスを含む。
このような長いバイト列に対応するために、sukhbaatarらと同様の適応スパンを持つ自己アテンション層を提供することにより、トランスフォーマティブにさらにコンテキスト長を導入する。
提案手法は,PEファイルのベンチマークデータセット上で確立されたマルウェア検出モデルと相容れない性能を示すとともに,スケーラビリティと計算効率のモデル改善について,さらなる検討の必要性を指摘する。
関連論文リスト
- Multimodal Pathway: Improve Transformers with Irrelevant Data from Other Modalities [56.666806962214565]
我々は,他のモダリティからの無関係なデータを用いて,特定のモダリティのトランスフォーマーを改善することを提案する。
我々は、他のモダリティのデータで訓練された補助変圧器を使用し、2つのモデルのコンポーネントを接続するための経路を構築している。
我々は、他のモダリティの無関係なデータを用いて、顕著で一貫したパフォーマンス改善を観察する。
論文 参考訳（メタデータ） (2024-01-25T18:59:58Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。
我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
論文 参考訳（メタデータ） (2023-04-13T17:57:54Z) - Transfer learning for conflict and duplicate detection in software requirement pairs [0.5359378066251386]
ソフトウェアプロジェクトの成功には、ソフトウェア要件の一貫性と全体的な表現が重要です。
本研究では,ソフトウェア要件仕様の矛盾や重複を自動的に識別することで,ソフトウェア開発プロセスの効率を向上させることを目的とする。
コンフリクトと重複識別タスクのために,Sentence-BERTとBiエンコーダを組み込んだ新しいトランスフォーマーアーキテクチャSR-BERTを設計する。
論文 参考訳（メタデータ） (2023-01-09T22:47:12Z) - Improving Transformer-Kernel Ranking Model Using Conformer and Query
Term Independence [29.442579683405913]
Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。
TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。
本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
論文 参考訳（メタデータ） (2021-04-19T15:32:34Z) - Training Transformers for Information Security Tasks: A Case Study on
Malicious URL Prediction [3.660098145214466]
私たちは、スクラッチからトレーニングされたトランスフォーマーアーキテクチャに基づいて、悪意のある/良性のある予測URLを実装します。
従来の自然言語処理(NLP)変換器とは対照的に,このモデルは動作に異なるトレーニングアプローチを必要とする。
論文 参考訳（メタデータ） (2020-11-05T18:58:51Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳（メタデータ） (2020-10-05T23:37:30Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - Set Based Stochastic Subsampling [85.5331107565578]
本稿では,2段階間ニューラルサブサンプリングモデルを提案する。
画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-06-25T07:36:47Z) - Gradient-Based Adversarial Training on Transformer Networks for
Detecting Check-Worthy Factual Claims [3.7543966923106438]
本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。
現在の最先端モデルよりもF1スコアが4.70ポイント向上した。
本稿では,変換器モデルに逆学習を適用する手法を提案する。
論文 参考訳（メタデータ） (2020-02-18T16:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。