論文の概要: Improving DNS Exfiltration Detection via Transformer Pretraining

• arxiv url: http://arxiv.org/abs/2604.09849v1
• Date: Thu, 09 Apr 2026 15:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.707476
• Title: Improving DNS Exfiltration Detection via Transformer Pretraining
• Title（参考訳）: Transformer PretrainingによるDNS抽出検出の改善
• Authors: Miloš Tomić, Aleksa Cvetanović, Predrag Tadić,
• Abstract要約: 変換器(BERT)モデルからの双方向表現のドメイン内事前学習は、偽陽性率の低いサブドメインレベルの抽出を改善する。 私たちは、検証の操作ポイントを凍結し、テストセットに転送する制御パイプラインを開発します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study whether in-domain pretraining of Bidirectional Encoder Representations from Transformer (BERT) model improves subdomain-level detection of exfiltration at low false positive rates. While previous work mostly examines fine-tuned generic Transformers, it does not aim to isolate the effect of pretraining on the downstream task of classification. To address this gap, we develop a controlled pipeline where we freeze operating points on validation and transfer them to the test set, thus enabling clean ablations across different label and pretraining budgets. Our results show significant improvements in the left tail of the Receiver Operating Characteristic (ROC) curve, especially against randomly initialized baseline. Additionally, within pretrained model variants, increasing the number of pretraining steps helps the most when more labeled data are available for fine-tuning.
• Abstract（参考訳）: 本稿では,変換器(BERT)モデルによる双方向エンコーダ表現のドメイン内事前学習により,偽陽性率の低いサブドメインレベルの抽出精度が向上するかどうかを検討する。 従来の研究は主に微調整された汎用トランスフォーマーについて検討するが、事前学習が下流の分類課題に与える影響を分離することを目的としていない。 このギャップに対処するため、我々は検証の操作点を凍結し、テストセットに転送する制御パイプラインを開発し、異なるラベルをまたいだクリーンな改善と事前訓練の予算を可能にします。 以上の結果より,受信器動作特性曲線(ROC)の左尾部,特にランダムに初期化ベースラインに対して顕著な改善が見られた。 さらに、事前訓練されたモデルバリアント内では、事前トレーニングステップの数を増やすことで、ラベル付きデータがより詳細なチューニングに利用できる場合に最も役立ちます。

関連論文リスト

• Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification [0.0]
  BERT埋め込みとロジスティック回帰は、LIARデータセット分割のニューラルネットワークよりも優れている。 この研究は、注意に基づくトークンエンコーダを、正確性タスクのための堅牢でアーキテクチャ中心の基盤として位置付けている。
  論文  参考訳（メタデータ） (2025-11-28T08:32:49Z)
• Improving Transformer Based Line Segment Detection with Matched Predicting and Re-ranking [21.2588921381058]
  RANK-LETRはトランスフォーマーを用いた新しい線分検出法である。 提案手法では,線分の中心に最も近い特徴点が位置を直接予測する。 実験の結果,提案手法は予測精度において他のTransformerベースおよびCNNベースアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2025-02-25T01:54:40Z)
• Test-time adaptation for geospatial point cloud semantic segmentation with distinct domain shifts [6.80671668491958]
  テスト時間適応(TTA)は、ソースデータへのアクセスや追加のトレーニングなしに、推論段階でラベル付けされていないデータに事前訓練されたモデルの直接適応を可能にする。 本稿では,3つの領域シフトパラダイムを提案する。光グラムから空気中LiDAR,空気中LiDAR,合成-移動レーザー走査である。 実験の結果,分類精度は最大20%mIoUに向上し,他の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-08T15:40:28Z)
• AlignDet: Aligning Pre-training and Fine-tuning in Object Detection [38.256555424079664]
  AlignDetは統合された事前トレーニングフレームワークで、様々な既存の検出器に適応して、相違を緩和することができる。 検出アルゴリズム、モデルバックボーン、データ設定、トレーニングスケジュールなど、さまざまなプロトコル間で大幅な改善が達成できる。
  論文  参考訳（メタデータ） (2023-07-20T17:55:14Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
  本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。 SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。 その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
  論文  参考訳（メタデータ） (2022-09-07T02:30:36Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Integral Migrating Pre-trained Transformer Encoder-decoders for Visual Object Detection [78.2325219839805]
  imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。 MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
  論文  参考訳（メタデータ） (2022-05-19T15:11:20Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。