論文の概要: LLMs Perform Poorly at Concept Extraction in Cyber-security Research Literature

• arxiv url: http://arxiv.org/abs/2312.07110v1
• Date: Tue, 12 Dec 2023 09:39:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 16:35:24.565969
• Title: LLMs Perform Poorly at Concept Extraction in Cyber-security Research Literature
• Title（参考訳）: llmsはサイバーセキュリティ研究文献における概念抽出に乏しい
• Authors: Maxime W\"ursch and Andrei Kucharavy and Dimitri Percia David and Alain Mermoud
• Abstract要約: 大規模言語モデル(LLM)を用いて、サイバーセキュリティ関連のテキストから関連する知識エンティティを抽出する。 そこで本研究では,いくつかの統計的解析を付加した名詞抽出装置を開発し,そのドメインから特定の,関連する化合物の名詞を抽出する。 いくつかの制限を観察するが、急激なトレンドの進化を監視するための有望な結果を提供する。
• 参考スコア（独自算出の注目度）: 1.2874569408514918
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The cybersecurity landscape evolves rapidly and poses threats to organizations. To enhance resilience, one needs to track the latest developments and trends in the domain. It has been demonstrated that standard bibliometrics approaches show their limits in such a fast-evolving domain. For this purpose, we use large language models (LLMs) to extract relevant knowledge entities from cybersecurity-related texts. We use a subset of arXiv preprints on cybersecurity as our data and compare different LLMs in terms of entity recognition (ER) and relevance. The results suggest that LLMs do not produce good knowledge entities that reflect the cybersecurity context, but our results show some potential for noun extractors. For this reason, we developed a noun extractor boosted with some statistical analysis to extract specific and relevant compound nouns from the domain. Later, we tested our model to identify trends in the LLM domain. We observe some limitations, but it offers promising results to monitor the evolution of emergent trends.
• Abstract（参考訳）: サイバーセキュリティの状況は急速に発展し、組織に脅威をもたらす。 レジリエンスを高めるためには、ドメインの最新の開発とトレンドを追跡する必要がある。 標準的な書誌学アプローチがそのような急速に発展する領域における限界を示すことが示されている。 この目的のために,大規模言語モデル(LLM)を用いて,サイバーセキュリティ関連テキストから関連する知識エンティティを抽出する。 我々は、サイバーセキュリティに関するarXivプリプリントのサブセットをデータとして使用し、エンティティ認識(ER)と関連性の観点から異なるLLMを比較します。 その結果,llmは,サイバーセキュリティの文脈を反映した優れた知識エンティティを生成できないことが示唆された。 そこで我々は,いくつかの統計解析を加味した名詞抽出器を開発し,そのドメインから固有名詞および関連化合物を抽出した。 その後、LLM領域のトレンドを特定するためにモデルを検証した。 いくつかの制限を観察するが、創発的なトレンドの進化を監視するための有望な結果を提供する。

関連論文リスト

• Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
  この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。 LLMをベースとしたエージェントの6つの重要な特徴を概説する。 4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
  論文  参考訳（メタデータ） (2024-11-14T15:40:04Z)
• Combining Domain and Alignment Vectors to Achieve Better Knowledge-Safety Trade-offs in LLMs [64.83462841029089]
  我々は、ドメインとアライメントベクトルを補間し、より安全なドメイン固有モデルを作成する、textscMergeAlignと呼ばれる効率的なマージベースのアライメント手法を導入する。 医学やファイナンスの専門家であるLlama3の変種にtextscMergeAlignを適用することで、ドメイン固有のベンチマークを最小限または全く劣化させることなく、大幅なアライメントの改善が得られる。
  論文  参考訳（メタデータ） (2024-11-11T09:32:20Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Generative AI and Large Language Models for Cyber Security: All Insights You Need [0.06597195879147556]
  本稿では,ジェネレーティブAIとLarge Language Models(LLMs)によるサイバーセキュリティの将来を概観する。 ハードウェア設計のセキュリティ、侵入検知、ソフトウェアエンジニアリング、設計検証、サイバー脅威インテリジェンス、マルウェア検出、フィッシング検出など、さまざまな領域にわたるLCMアプリケーションを探索する。 GPT-4, GPT-3.5, Mixtral-8x7B, BERT, Falcon2, LLaMA などのモデルの発展に焦点を当て, LLM の進化とその現状について概説する。
  論文  参考訳（メタデータ） (2024-05-21T13:02:27Z)
• Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
  サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。 LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。 第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
  論文  参考訳（メタデータ） (2024-05-08T02:09:17Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Large Language Models in Cybersecurity: State-of-the-Art [4.990712773805833]
  大規模言語モデル(LLM)の台頭は、私たちの知性の理解に革命をもたらした。 本研究は, サイバーセキュリティの領域におけるLLMの防衛的, 敵的応用の徹底的な評価を, 既存の文献を考察した。
  論文  参考訳（メタデータ） (2024-01-30T16:55:25Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• Neural Authorship Attribution: Stylometric Analysis on Large Language Models [16.63955074133222]
  GPT-4、PaLM、Llamaのような大規模言語モデル(LLM)は、AIによるテキスト生成を著しく推進している。 誤用の可能性に対する懸念が高まっているため、AI生成テキストの鑑識の必要性が高まっている。
  論文  参考訳（メタデータ） (2023-08-14T17:46:52Z)
• Detection, Explanation and Filtering of Cyber Attacks Combining Symbolic and Sub-Symbolic Methods [0.0]
  我々は、ドメイン知識を取り入れたサイバーセキュリティの分野で、象徴的およびサブシンボル的手法の組み合わせを検討している。 提案手法は,様々なシナリオに対するアラートの直感的な説明を生成する。 説明はアラートに関する深い洞察を提供するだけでなく、偽陽性の警告を66%、忠実度メトリックを含めると93%減少させる。
  論文  参考訳（メタデータ） (2022-12-23T09:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。