論文の概要: Comparing Unidirectional, Bidirectional, and Word2vec Models for
Discovering Vulnerabilities in Compiled Lifted Code
- arxiv url: http://arxiv.org/abs/2409.17513v1
- Date: Thu, 26 Sep 2024 03:48:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 23:17:44.780636
- Title: Comparing Unidirectional, Bidirectional, and Word2vec Models for
Discovering Vulnerabilities in Compiled Lifted Code
- Title（参考訳）: 一方向, 双方向, Word2vec モデルの比較
コンパイル済みコードにおける脆弱性の発見
- Authors: Gary A. McCully, John D. Hastings, Shengjie Xu, Adam Fortier
- Abstract要約: 本研究は,一方向変圧器を用いた埋め込み,特にGPT-2の適用について検討する。
本研究は,GPT-2モデルからの埋め込みがBERTとRoBERTaの双方向モデルよりも有意に優れていることを明らかにする。
- 参考スコア（独自算出の注目度）: 5.4141465747474475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ransomware and other forms of malware cause significant financial and
operational damage to organizations by exploiting long-standing and often
difficult-to-detect software vulnerabilities. To detect vulnerabilities such as
buffer overflows in compiled code, this research investigates the application
of unidirectional transformer-based embeddings, specifically GPT-2. Using a
dataset of LLVM functions, we trained a GPT-2 model to generate embeddings,
which were subsequently used to build LSTM neural networks to differentiate
between vulnerable and non-vulnerable code. Our study reveals that embeddings
from the GPT-2 model significantly outperform those from bidirectional models
of BERT and RoBERTa, achieving an accuracy of 92.5% and an F1-score of 89.7%.
LSTM neural networks were developed with both frozen and unfrozen embedding
model layers. The model with the highest performance was achieved when the
embedding layers were unfrozen. Further, the research finds that, in exploring
the impact of different optimizers within this domain, the SGD optimizer
demonstrates superior performance over Adam. Overall, these findings reveal
important insights into the potential of unidirectional transformer-based
approaches in enhancing cybersecurity defenses.
- Abstract（参考訳）: ランサムウェアや他の種類のマルウェアは、長く、しばしば検出が難しいソフトウェア脆弱性を悪用することにより、組織に重大な金銭的および運用上の損害をもたらす。
コンパイルされたコードのバッファオーバーフローなどの脆弱性を検出するため、一方向トランスフォーマーベースの埋め込み、特にGPT-2の適用について検討する。
LLVM関数のデータセットを使用して、GPT-2モデルをトレーニングして埋め込みを生成し、その後、脆弱性のあるコードと非脆弱性なコードの区別のためにLSTMニューラルネットワークを構築するために使用された。
GPT-2モデルからの埋め込みはBERTとRoBERTaの双方向モデルよりも有意に優れており、精度は92.5%、F1スコアは89.7%である。
LSTMニューラルネットワークは、凍結層と凍結層の両方で開発された。
組込み層が凍結していないとき、最高性能のモデルが達成された。
さらに、この領域内で異なるオプティマイザの影響を調べる際に、SGDオプティマイザはAdamよりも優れたパフォーマンスを示す。
これらの発見は、サイバーセキュリティの防御を強化する一方向トランスフォーマーベースのアプローチの可能性に関する重要な洞察を明らかにしている。
関連論文リスト
- Hybrid Deep Convolutional Neural Networks Combined with Autoencoders And Augmented Data To Predict The Look-Up Table 2006 [2.082445711353476]
本研究では、自己エンコーダとデータ拡張技術により強化されたハイブリッドディープ畳み込みニューラルネットワーク(DCNN)モデルの開発について検討する。
オリジナルの入力機能を3つの異なるオートエンコーダ構成で拡張することにより、モデルの予測能力は大幅に改善された。
論文 参考訳（メタデータ） (2024-08-26T20:45:07Z) - Enhancing IoT Security with CNN and LSTM-Based Intrusion Detection Systems [0.23408308015481666]
提案モデルは,畳み込みニューラルネットワーク(CNN)と長短期記憶(LSTM)ディープラーニング(DL)モデルを組み合わせて構成する。
この融合により、IoTトラフィックをバイナリカテゴリ、良性、悪意のあるアクティビティに検出し、分類することが可能になる。
提案モデルの精度は98.42%,最小損失は0.0275である。
論文 参考訳（メタデータ） (2024-05-28T22:12:15Z) - SecureBERT and LLAMA 2 Empowered Control Area Network Intrusion
Detection and Classification [2.824211356106516]
我々は、CAN侵入検知のための2つの異なるモデル、CAN-SecureBERTとCAN-LLAMA2を開発した。
Can-LLAMA2モデルは、バランスの取れた精度、精度検出率、F1スコア、そして驚くほど低い3.10e-6の誤警報率で、例外的なパフォーマンス 0.999993 を達成することで、最先端モデルを上回る。
論文 参考訳（メタデータ） (2023-11-19T23:49:08Z) - LogShield: A Transformer-based APT Detection System Leveraging
Self-Attention [2.1256044139613772]
本稿では,変圧器における自己注意力を利用したAPT攻撃パターンの検出を目的としたフレームワークであるLogShieldを提案する。
カスタマイズした埋め込みレイヤを組み込んで、前兆グラフから派生したイベントシーケンスのコンテキストを効果的にキャプチャします。
LSTMモデルではF1スコアが96%,94%を上回っ,F1スコアが98%,95%であった。
論文 参考訳（メタデータ） (2023-11-09T20:43:15Z) - MTS-DVGAN: Anomaly Detection in Cyber-Physical Systems using a Dual
Variational Generative Adversarial Network [7.889342625283858]
深層生成モデルは、ラベル付き情報に頼ることなく、サイバー物理システム(CPS)の脆弱性を軽減し、新しいサイバー物理攻撃を検出することを約束している。
本稿では、MST-DVGANという、教師なし二重変分生成対向モデルを提案する。
中心となる概念は、再構成された異常サンプルと正常なサンプルとの区別を広げることで、モデルの識別能力を高めることである。
論文 参考訳（メタデータ） (2023-11-04T11:19:03Z) - Safety-compliant Generative Adversarial Networks for Human Trajectory
Forecasting [95.82600221180415]
群衆における人間予測は、社会的相互作用をモデル化し、衝突のないマルチモーダル分布を出力するという課題を提示する。
SGANv2は、動き時間相互作用モデリングと変圧器に基づく識別器設計を備えた安全に配慮したSGANアーキテクチャである。
論文 参考訳（メタデータ） (2022-09-25T15:18:56Z) - Evaluating the Adversarial Robustness for Fourier Neural Operators [78.36413169647408]
フーリエ・ニューラル・オペレータ(FNO)は、ゼロショット超解像で乱流をシミュレートした最初の人物である。
我々はノルム有界データ入力摂動に基づくFNOの逆例を生成する。
以上の結果から,モデルの強靭性は摂動レベルの増加とともに急速に低下することが明らかとなった。
論文 参考訳（メタデータ） (2022-04-08T19:19:42Z) - Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and
Supervised Learning Methods in Adversarial Environments [63.942632088208505]
現在の運用環境に固有ののは、敵対的機械学習の実践である。
本研究では,教師なし学習とグラフに基づく異常検出の可能性を検討する。
我々は,教師付きモデルの訓練時に,現実的な対人訓練機構を組み込んで,対人環境における強力な分類性能を実現する。
論文 参考訳（メタデータ） (2021-05-14T10:05:10Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳（メタデータ） (2020-12-10T23:28:36Z) - MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down
Distillation [153.56211546576978]
本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。
このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。
実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
論文 参考訳（メタデータ） (2020-08-27T13:04:27Z) - Graph Backdoor [53.70971502299977]
GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。
GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。
トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
論文 参考訳（メタデータ） (2020-06-21T19:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。