論文の概要: Benchmarking LLMs for Threat Level Determination

• arxiv url: http://arxiv.org/abs/2609.07582v1
• Date: Mon, 07 Sep 2026 14:55:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 21:41:22.607105
• Title: Benchmarking LLMs for Threat Level Determination
• Title（参考訳）: 脅威レベル決定のためのベンチマークLDM
• Abstract要約: 脅威レベル決定のタスクにおいて,大規模言語モデル (LLM) をベンチマークする。 その結果,ゼロショットモデルでは,脅威レベルを正確に割り当てる能力が制限され,性能が低下することが示唆された。 しかし、微調整されたモデルは大幅に改善され、基本アーキテクチャによってF1スコアは0.40から0.58に到達した。
• 参考スコア（独自算出の注目度）: 1.8453032748632798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fast progress of large language models (LLMs) opens new opportunities in the management of cyber threat intelligence, but their reliability for operational tasks remains unclear. In this work, we benchmark LLMs on the task of threat level determination. First, we construct a curated dataset derived from publicly available MISP OSINT feeds. Next, we design a tailored prompt to systematically compare eight different LLMs under zero-shot conditions. Finally, we apply supervised fine-tuning on each model and perform a comparative analysis between baseline and fine-tuned versions. Our results show that zero-shot models achieve weak performance, with limited ability to correctly assign threat levels. Fine-tuned models, however, demonstrate substantial improvements, reaching F1 scores between 0.40 and 0.58 depending on the base architecture. Despite this progress, the performance is still low for practical deployment, highlighting the need for additional research on data quality, model adaptation, and domain-specific tuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、サイバー脅威インテリジェンスの管理における新たな機会を開くが、運用上のタスクに対する信頼性は依然として不明である。 本研究では,脅威レベル決定の課題についてLSMをベンチマークする。 まず、公開されているMISP OSINTフィードから得られたキュレートデータセットを構築する。 次に,ゼロショット条件下で8種類のLDMを体系的に比較するプロンプトを設計する。 最後に、各モデルに教師付き微調整を適用し、ベースラインと微調整版の比較分析を行う。 その結果,ゼロショットモデルでは,脅威レベルを正確に割り当てる能力が制限され,性能が低下することが示唆された。 しかし、微調整されたモデルは大幅に改善され、基本アーキテクチャによってF1スコアは0.40から0.58に到達した。 この進歩にもかかわらず、実際のデプロイメントではパフォーマンスは依然として低く、データ品質、モデル適応、ドメイン固有のチューニングに関するさらなる研究の必要性を強調している。

関連論文リスト

• Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution [47.70578021328887]
  大規模言語モデル(LLM)ベースのマルチエージェントシステムは、しばしば複雑な障害モードを示す。 AFANetは、ステップレベルの意味信号とエージェントレベルの関係を通して相互作用軌跡をモデル化する軽量なグラフベースのフレームワークである。 以上の結果から, エージェント障害の効果的な帰属は大きな推論を必要とせず, 軽量で構造化されたアプローチで高い性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-08-19T06:16:09Z)
• CLSGen: A Dual-Head Fine-Tuning Framework for Joint Probabilistic Classification and Verbalized Explanation [9.80652710081054]
  CLSGenはバイナリ分類タスクのための新しい微調整フレームワークである。 モデル固有の説明生成能力を犠牲にすることなく、頑健な確率推定を可能にする。 CLSGenで微調整されたモデルは、分類基準において既存のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T17:58:43Z)
• Curate-Train-Refine: A Closed-Loop Agentic Framework for Zero Shot Classification [2.1937565888932653]
  大規模言語モデル(LLM)と高容量エンコーダは、ゼロと少数ショットの分類が進んでいるが、その推論コストと遅延は実際のデプロイを制限している。 LLMから動的に生成した教師による軽量テキスト分類器の訓練を提案する。 提案手法は, LLMがトレーニングデータをキュレートし, モデルの成功と失敗を分析し, 対象とするサンプルを合成し, 観測誤差に対処する反復的エージェントループを用いる。
  論文  参考訳（メタデータ） (2026-01-23T08:04:09Z)
• From Brute Force to Semantic Insight: Performance-Guided Data Transformation Design with LLMs [48.83701310501069]
  大規模言語モデル(LLM)は、コード合成において顕著な性能を達成した。 本稿では,LLMが最適変換を自律的に設計できる性能対応クローズドループソリューションを提案する。 6,000以上のPyTorch拡張関数を実験的に評価した新しいリポジトリ上で,低ランク適応型LPMを微調整する。
  論文  参考訳（メタデータ） (2026-01-07T11:13:02Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。