論文の概要: Large Language Models are Unreliable for Cyber Threat Intelligence

• arxiv url: http://arxiv.org/abs/2503.23175v1
• Date: Sat, 29 Mar 2025 18:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:39:25.053190
• Title: Large Language Models are Unreliable for Cyber Threat Intelligence
• Title（参考訳）: 大規模言語モデルはサイバー脅威インテリジェンスには信頼できない
• Authors: Emanuele Mezzi, Fabio Massacci, Katja Tuma,
• Abstract要約: 大規模言語モデル(LLM)は、サイバーセキュリティ分野におけるデータの希薄化を緩和するために使用することができる。 我々は3つの最先端のLCMと350件の脅威情報レポートのデータセットを用いて実験を行った。 実物大の報告ではLCMが十分な性能を保証できない一方で、矛盾しすぎていることを示す。
• 参考スコア（独自算出の注目度）: 6.218417024312705
• License:
• Abstract: Several recent works have argued that Large Language Models (LLMs) can be used to tame the data deluge in the cybersecurity field, by improving the automation of Cyber Threat Intelligence (CTI) tasks. This work presents an evaluation methodology that other than allowing to test LLMs on CTI tasks when using zero-shot learning, few-shot learning and fine-tuning, also allows to quantify their consistency and their confidence level. We run experiments with three state-of-the-art LLMs and a dataset of 350 threat intelligence reports and present new evidence of potential security risks in relying on LLMs for CTI. We show how LLMs cannot guarantee sufficient performance on real-size reports while also being inconsistent and overconfident. Few-shot learning and fine-tuning only partially improve the results, thus posing doubts about the possibility of using LLMs for CTI scenarios, where labelled datasets are lacking and where confidence is a fundamental factor.
• Abstract（参考訳）: いくつかの最近の研究は、サイバー脅威インテリジェンス(CTI)タスクの自動化を改善することで、サイバーセキュリティ分野におけるデータの希薄化を緩和するために、LLM(Large Language Models)を使用することができると主張している。 本研究は, ゼロショット学習, 少数ショット学習, 微調整を用いた場合のCTIタスク上でLLMをテストすること以外に, 一貫性と信頼性の定量化を可能にする評価手法を提案する。 我々は3つの最先端のLLMと350の脅威情報レポートのデータセットを用いて実験を行い、CTIのLLMに依存するセキュリティリスクの新たな証拠を提示する。 実物大の報告ではLCMが十分な性能を保証できない一方で、矛盾しすぎていることを示す。 そのため、ラベル付きデータセットが欠如しており、信頼性が基本的な要因であるCTIシナリオにLLMを使用する可能性に疑問を呈する。

関連論文リスト

• Multi-Task Learning with LLMs for Implicit Sentiment Analysis: Data-level and Task-level Automatic Weight Learning [18.836998294161834]
  暗黙の感情分析は、有能なキュー語が欠如していることによる重大な課題を呈する。 MT-ISAは,大規模言語モデルの生成と推論機能を活用することでISAを強化する新しいMTLフレームワークである。 データレベルとタスクレベルの自動重み付け学習(AWL)を導入し、関係を動的に識別し、信頼性の高いデータや重要なタスクを優先する。
  論文  参考訳（メタデータ） (2024-12-12T08:15:16Z)
• The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums [0.0]
  大規模言語モデル(LLM)は、サイバー犯罪フォーラムからサイバー脅威インテリジェンス(CTI)データを分析するために使用することができる。 本研究では,OpenAI GPT-3.5-turboモデル[8]上に構築したLCMシステムの性能評価を行い,CTI情報を抽出する。
  論文  参考訳（メタデータ） (2024-08-06T09:15:25Z)
• Can LLMs be Fooled? Investigating Vulnerabilities in LLMs [4.927763944523323]
  LLM(Large Language Models)の出現は、自然言語処理(NLP)内の様々な領域で大きな人気を集め、膨大なパワーを誇っている。 本稿では,各脆弱性部の知見を合成し,新たな研究・開発の方向性を提案する。 現在の脆弱性の焦点を理解することで、将来のリスクを予測し軽減できます。
  論文  参考訳（メタデータ） (2024-07-30T04:08:00Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence [0.7499722271664147]
  CTIBenchは、CTIアプリケーションにおける大規模言語モデルの性能を評価するために設計されたベンチマークである。 これらのタスクにおけるいくつかの最先端モデルの評価は、CTIコンテキストにおけるその強みと弱みに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-11T16:42:02Z)
• Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
  脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。 実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
  論文  参考訳（メタデータ） (2024-06-09T19:18:05Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。