論文の概要: CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence

• arxiv url: http://arxiv.org/abs/2406.07599v3
• Date: Mon, 11 Nov 2024 12:00:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:04:45.408376
• Title: CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
• Title（参考訳）: CTIBench:サイバー脅威インテリジェンスにおけるLCMの評価ベンチマーク
• Authors: Md Tanvirul Alam, Dipkamal Bhusal, Le Nguyen, Nidhi Rastogi,
• Abstract要約: CTIBenchは、CTIアプリケーションにおける大規模言語モデルの性能を評価するために設計されたベンチマークである。 これらのタスクにおけるいくつかの最先端モデルの評価は、CTIコンテキストにおけるその強みと弱みに関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.7499722271664147
• License:
• Abstract: Cyber threat intelligence (CTI) is crucial in today's cybersecurity landscape, providing essential insights to understand and mitigate the ever-evolving cyber threats. The recent rise of Large Language Models (LLMs) have shown potential in this domain, but concerns about their reliability, accuracy, and hallucinations persist. While existing benchmarks provide general evaluations of LLMs, there are no benchmarks that address the practical and applied aspects of CTI-specific tasks. To bridge this gap, we introduce CTIBench, a benchmark designed to assess LLMs' performance in CTI applications. CTIBench includes multiple datasets focused on evaluating knowledge acquired by LLMs in the cyber-threat landscape. Our evaluation of several state-of-the-art models on these tasks provides insights into their strengths and weaknesses in CTI contexts, contributing to a better understanding of LLM capabilities in CTI.
• Abstract（参考訳）: サイバー脅威インテリジェンス(サイバー脅威インテリジェンス、サイバー脅威インテリジェンス、CTI)は、サイバーセキュリティの世界において重要な存在であり、進化を続けるサイバー脅威を理解し、緩和するための重要な洞察を提供する。 近年のLarge Language Models (LLM) の台頭は、この領域における潜在的な可能性を示しているが、信頼性、正確性、幻覚に関する懸念は続いている。 既存のベンチマークはLCMの一般的な評価を提供するが、CTI固有のタスクの実践的および応用的な側面に対処するベンチマークは存在しない。 このギャップを埋めるために、我々はCTIアプリケーションにおけるLCMの性能を評価するために設計されたベンチマークであるCTIBenchを紹介する。 CTIBenchには、サイバー脅威の状況においてLLMが取得した知識を評価することに焦点を当てた複数のデータセットが含まれている。 これらのタスクに対するいくつかの最先端モデルの評価は、CTIコンテキストにおけるその強みと弱みに関する洞察を与え、CTIにおけるLLM能力のより深い理解に寄与する。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
  In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。 既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-21T08:06:10Z)
• Ollabench: Evaluating LLMs' Reasoning for Human-centric Interdependent Cybersecurity [0.0]
  大規模言語モデル(LLM)は、複雑な相互依存型サイバーセキュリティシステムを表現することによってエージェントベースモデリングを強化する可能性がある。 既存の評価フレームワークは、しばしば、相互依存型サイバーセキュリティに不可欠なヒューマンファクターと認知コンピューティング能力を見落としている。 シナリオベースの情報セキュリティコンプライアンスや非コンプライアンス問題に答える上で,LLMの正確性,無駄性,一貫性を評価する新しい評価フレームワークであるOllaBenchを提案する。
  論文  参考訳（メタデータ） (2024-06-11T00:35:39Z)
• SECURE: Benchmarking Large Language Models for Cybersecurity [0.6741087029030101]
  大規模言語モデル(LLM)はサイバーセキュリティの応用の可能性を示しているが、幻覚や真実性の欠如といった問題により信頼性が低下している。 本研究は、これらのタスクに関する7つの最先端モデルを評価し、サイバーセキュリティの文脈におけるその強みと弱点に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-30T19:35:06Z)
• Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
  サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。 LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。 第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
  論文  参考訳（メタデータ） (2024-05-08T02:09:17Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Multitask-based Evaluation of Open-Source LLM on Software Vulnerability [2.7692028382314815]
  本稿では,公開データセットを用いて対話型大規模言語モデル(LLM)を定量的に評価するためのパイプラインを提案する。 我々は,4つの共通ソフトウェア脆弱性タスクをカバーするBig-Vulを用いて,LLMの広範な技術的評価を行う。 既存の最先端のアプローチと事前訓練された言語モデル(LM)は、ソフトウェア脆弱性検出において、LLMよりも一般的に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-02T15:52:05Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• How Far Have We Gone in Vulnerability Detection Using Large Language Models [15.09461331135668]
  包括的な脆弱性ベンチマークであるVulBenchを紹介します。 このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。 いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-21T08:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。