論文の概要: CySecBERT: A Domain-Adapted Language Model for the Cybersecurity Domain

• arxiv url: http://arxiv.org/abs/2212.02974v1
• Date: Tue, 6 Dec 2022 13:49:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 17:16:21.489241
• Title: CySecBERT: A Domain-Adapted Language Model for the Cybersecurity Domain
• Title（参考訳）: CySecBERT:サイバーセキュリティドメインのためのドメイン適応言語モデル
• Authors: Markus Bayer, Philipp Kuehn, Ramin Shanehsaz, Christian Reuter
• Abstract要約: サイバーセキュリティ分野に特化した言語モデルを提案する。 このモデルは、15の異なるドメイン依存外在的タスクと内在的タスクに基づく他のモデルと比較される。 モデルが以前に訓練されたドメインに依存しない知識を検索できるので、破滅的な作業に対する我々のアプローチが示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of cybersecurity is evolving fast. Experts need to be informed about past, current and - in the best case - upcoming threats, because attacks are becoming more advanced, targets bigger and systems more complex. As this cannot be addressed manually, cybersecurity experts need to rely on machine learning techniques. In the texutual domain, pre-trained language models like BERT have shown to be helpful, by providing a good baseline for further fine-tuning. However, due to the domain-knowledge and many technical terms in cybersecurity general language models might miss the gist of textual information, hence doing more harm than good. For this reason, we create a high-quality dataset and present a language model specifically tailored to the cybersecurity domain, which can serve as a basic building block for cybersecurity systems that deal with natural language. The model is compared with other models based on 15 different domain-dependent extrinsic and intrinsic tasks as well as general tasks from the SuperGLUE benchmark. On the one hand, the results of the intrinsic tasks show that our model improves the internal representation space of words compared to the other models. On the other hand, the extrinsic, domain-dependent tasks, consisting of sequence tagging and classification, show that the model is best in specific application scenarios, in contrast to the others. Furthermore, we show that our approach against catastrophic forgetting works, as the model is able to retrieve the previously trained domain-independent knowledge. The used dataset and trained model are made publicly available
• Abstract（参考訳）: サイバーセキュリティの分野は急速に進化している。 攻撃はより先進的になり、より大きく、システムはより複雑になっているため、専門家は過去、現在、そして最も良い場合において、次の脅威について知らせる必要がある。 これは手動では対処できないため、サイバーセキュリティの専門家は機械学習技術に頼る必要がある。 texutualドメインでは、bertのような事前学習された言語モデルが、さらなる微調整のための優れたベースラインを提供することで有用であることが示されている。 しかし、ドメイン知識とサイバーセキュリティの一般的な言語モデルにおける多くの技術的用語により、テキスト情報の要点を見逃す可能性があるため、良いことよりも有害である。 そのため、我々は高品質なデータセットを作成し、自然言語を扱うサイバーセキュリティシステムの基本的なビルディングブロックとして機能するサイバーセキュリティドメインに特化された言語モデルを提示します。 このモデルは、SuperGLUEベンチマークの一般的なタスクと同様に、15の異なるドメイン依存の外在的タスクと内在的タスクに基づく他のモデルと比較される。 一方,内在的なタスクの結果から,本モデルは他のモデルと比較して単語の内部表現空間が改善されることが示された。 一方、シーケンスタグ付けと分類からなるドメイン依存タスクは、他のタスクとは対照的に、特定のアプリケーションシナリオにおいてモデルが最も優れていることを示している。 さらに,これまでに訓練されたドメインに依存しない知識をモデルで検索できるので,破滅的な忘れ作業に対する我々のアプローチを示す。 使用済みデータセットとトレーニングされたモデルが一般公開される

関連論文リスト

• SentinelLMs: Encrypted Input Adaptation and Fine-tuning of Language Models for Private and Secure Inference [6.0189674528771]
  本稿では、ディープラーニングモデルに関連するプライバシとセキュリティの問題に対処する。 ディープニューラルネットワークモデルは、現代のAIベースの様々なアプリケーションにおいて重要なコンポーネントとして機能する。 パスキー暗号化されたユーザ固有テキストに対して,トランスフォーマーに基づく言語モデルを適応し,微調整する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-12-28T19:55:11Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents [111.15288256221764]
  グラウンデッドデコーディングプロジェクトは、両方のモデルの知識を活用することで、ロボット環境で複雑な長期タスクを解決することを目的としている。 我々はこれを確率的フィルタリングに類似した問題として、言語モデルの下で高い確率を持つシーケンスをデコードし、基底モデル対象のセットで高い確率を示す。 本研究では,3つのシミュレーション領域と実世界の領域にまたがって,そのような基底モデルがどのように得られるのかを実証し,両モデルの知識を活用して,ロボット環境での複雑な長期的タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-01T22:58:50Z)
• Exploring the Limits of Transfer Learning with Unified Model in the Cybersecurity Domain [17.225973170682604]
  生成型マルチタスクモデル Unified Text-to-Text Cybersecurity (UTS) を導入する。 UTSはマルウェアレポート、フィッシングサイトURL、プログラミングコード構造、ソーシャルメディアデータ、ブログ、ニュース記事、フォーラムの投稿で訓練されている。 UTSはいくつかのサイバーセキュリティデータセットの性能を改善している。
  論文  参考訳（メタデータ） (2023-02-20T22:21:26Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? [50.84738303888189]
  本稿では,モデル選択の大規模評価とそのゼロショット一般化への影響について述べる。 私たちは、70億以上のトークンに対して、50億以上のパラメータを持つモデルをトレーニングします。 事前学習した因果デコーダモデルを非因果デコーダモデルに効率的に適用できることが判明した。
  論文  参考訳（メタデータ） (2022-04-12T14:19:49Z)
• Language Model for Text Analytic in Cybersecurity [6.93939291118954]
  言語モデルはテキスト分析とNLPにおいて重要である。 本稿では,SecureBERTと呼ばれるサイバーセキュリティ言語モデルを提案する。 SecureBERTは、サイバーセキュリティドメイン内のテキストの意味をキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-04-06T09:17:21Z)
• Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains [45.07506437436464]
  本稿では、特定のドメインに対して、小型で高速かつ効果的に事前訓練されたモデルを開発するための一般的なアプローチを提案する。 これは、既成の一般訓練モデルに適応し、ターゲットドメインでタスク非依存の知識蒸留を行うことによって達成される。
  論文  参考訳（メタデータ） (2021-06-25T07:37:05Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。