論文の概要: Training Transformers for Information Security Tasks: A Case Study on Malicious URL Prediction

• arxiv url: http://arxiv.org/abs/2011.03040v1
• Date: Thu, 5 Nov 2020 18:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 12:50:01.570503
• Title: Training Transformers for Information Security Tasks: A Case Study on Malicious URL Prediction
• Title（参考訳）: 情報セキュリティタスクのためのトレーニングトランスフォーマー:悪質なURL予測を事例として
• Authors: Ethan M. Rudd and Ahmed Abdallah
• Abstract要約: 私たちは、スクラッチからトレーニングされたトランスフォーマーアーキテクチャに基づいて、悪意のある/良性のある予測URLを実装します。 従来の自然言語処理(NLP)変換器とは対照的に,このモデルは動作に異なるトレーニングアプローチを必要とする。
• 参考スコア（独自算出の注目度）: 3.660098145214466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) for information security (InfoSec) utilizes distinct data types and formats which require different treatments during optimization/training on raw data. In this paper, we implement a malicious/benign URL predictor based on a transformer architecture that is trained from scratch. We show that in contrast to conventional natural language processing (NLP) transformers, this model requires a different training approach to work well. Specifically, we show that 1) pre-training on a massive corpus of unlabeled URL data for an auto-regressive task does not readily transfer to malicious/benign prediction but 2) that using an auxiliary auto-regressive loss improves performance when training from scratch. We introduce a method for mixed objective optimization, which dynamically balances contributions from both loss terms so that neither one of them dominates. We show that this method yields performance comparable to that of several top-performing benchmark classifiers.
• Abstract（参考訳）: 情報セキュリティ(InfoSec)のための機械学習(ML)は、生データの最適化/トレーニング時に異なる処理を必要とする異なるデータタイプとフォーマットを使用する。 本稿では,スクラッチからトレーニングしたトランスフォーマーアーキテクチャに基づいて,悪意のあるURL予測を行う。 従来の自然言語処理(NLP)変換器とは対照的に,このモデルは動作に異なるトレーニングアプローチを必要とする。 具体的には 1) 自動回帰作業のためのラベルなしURLデータの大量コーパスの事前訓練は、悪質/良質な予測に容易に移行しない。 2) 補助的自己回帰損失を用いることで, スクラッチからトレーニングを行う際の性能が向上する。 そこで本研究では,両損失項からの貢献を動的にバランスさせる混合目的最適化手法を提案する。 本手法は,複数のベンチマーク分類器に匹敵する性能を示す。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• T4P: Test-Time Training of Trajectory Prediction via Masked Autoencoder and Actor-specific Token Memory [39.021321011792786]
  軌道予測は、複数のアクター間の相互作用を考慮することを必要とする難しい問題である。 データ駆動型アプローチは、この複雑な問題に対処するために使われてきたが、テスト期間中に分散シフトの下では信頼性の低い予測に悩まされている。 本研究では,観測データから回帰損失を用いたオンライン学習手法を提案する。 提案手法は,予測精度と計算効率の両方の観点から,既存の最先端オンライン学習手法の性能を超越した手法である。
  論文  参考訳（メタデータ） (2024-03-15T06:47:14Z)
• Target Variable Engineering [0.0]
  数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。 回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
  論文  参考訳（メタデータ） (2023-10-13T23:12:21Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Transformers for End-to-End InfoSec Tasks: A Feasibility Study [6.847381178288385]
  私たちは2つの異なるInfoSecデータフォーマット、特にURLとPEファイルに対してトランスフォーマーモデルを実装します。 URLトランスフォーマーモデルは、高いパフォーマンスレベルに達するためには、異なるトレーニングアプローチが必要です。 提案手法は,PEファイルのベンチマークデータセット上で,確立されたマルウェア検出モデルに相容れない性能を示す。
  論文  参考訳（メタデータ） (2022-12-05T23:50:46Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Discriminative and Generative Transformer-based Models For Situation Entity Classification [8.029049649310211]
  我々は、状況エンティティ(SE)分類タスクを、利用可能なトレーニングデータの量に応じて再検討する。 変換器を用いた変分オートエンコーダを用いて文を低次元の潜在空間に符号化する。
  論文  参考訳（メタデータ） (2021-09-15T17:07:07Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。