論文の概要: LLM-Based Weak Annotation for Cybersecurity Tweet Classification: A Teacher-Student Framework
- arxiv url: http://arxiv.org/abs/2610.21254v1
- Date: Thu, 15 Oct 2026 04:48:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.193974
- Title: LLM-Based Weak Annotation for Cybersecurity Tweet Classification: A Teacher-Student Framework
- Title(参考訳): LLMによるサイバーセキュリティツイート分類のための弱アノテーション:教師学習フレームワーク
- Abstract要約: 大規模言語モデル(LLM)は、他のドメインの弱いアノテータとして約束されている。
本稿では,LLMが教師として機能し,未ラベルのサイバーセキュリティツイートの弱いラベルを生成する教師・学生の弱監視フレームワークを提案する。
実験の結果、LPMが生成したラベルだけで訓練されたPLMは一貫して0.92以上のF1スコアを達成し、完全な人間の監督されたモデルの3ポイント以内に留まっていることがわかった。
- 参考スコア(独自算出の注目度): 0.6524460254566904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cyber threat intelligence (CTI) relies on the timely identification of emerging threats, enabling organizations and security analysts to support situational awareness and decision-making. Social media platforms such as X (formerly Twitter) have become valuable CTI sources because vulnerabilities and attack activities are often discussed there before appearing in formal reports. However, the rapid growth of cybersecurity discussions on social media has created more content than domain experts can realistically review and annotate, making labeled data a major bottleneck for developing supervised learning approaches. While large language models (LLMs) have shown promise as weak annotators in other domains, their effectiveness for cybersecurity tweet classification and downstream training of domain-specific pre-trained language models (PLMs) remains underexplored. To address this challenge, we propose a Teacher-Student weak supervision framework in which a selected LLM serves as a Teacher to generate weak labels for unlabeled cybersecurity tweets, enabling the training of cybersecurity-specific PLMs without large-scale manual annotation. Experimental results show that PLMs trained solely on LLM-generated labels consistently achieve F1 scores above 0.92, remaining within 3 percentage points of fully human-supervised models across all evaluated architectures. These findings suggest that LLM-based weak annotation offers a practical alternative for constructing cybersecurity-specific training data when expert annotation resources are limited.
- Abstract(参考訳): サイバー脅威インテリジェンス(CTI)は、出現する脅威のタイムリーな識別に依存しており、組織やセキュリティアナリストは状況認識と意思決定をサポートすることができる。
X(元Twitter)のようなソーシャルメディアプラットフォームは、脆弱性や攻撃活動が公式レポートに現れる前に議論されるため、貴重なCTIソースになっている。
しかし、ソーシャルメディア上でのサイバーセキュリティに関する議論の急速な成長は、ドメインの専門家が現実的にレビューし注釈を付けるよりも多くのコンテンツを生み出しており、ラベル付きデータは教師付き学習アプローチを開発する上で大きなボトルネックとなっている。
大規模言語モデル(LLM)は、他のドメインの弱いアノテータとして期待されているが、サイバーセキュリティのツイート分類や、ドメイン固有の事前訓練された言語モデル(PLM)の下流トレーニングの有効性はいまだ検討されていない。
この課題に対処するために、選択されたLCMが教師として機能し、未ラベルのサイバーセキュリティツイートの弱いラベルを生成できるようにし、大規模な手動アノテーションを使わずにサイバーセキュリティ固有のPLMのトレーニングを可能にする、Teacher-Student弱監視フレームワークを提案する。
実験結果から,LPM生成ラベルのみをトレーニングしたPLMは0.92点以上のF1スコアを連続的に達成し,すべての評価されたアーキテクチャにおいて完全な人間監督モデルのうち3ポイント以内に留まることがわかった。
これらの結果は,LSMに基づく弱いアノテーションは,専門家のアノテーションリソースが限られている場合に,サイバーセキュリティ固有のトレーニングデータを構築するための実用的な代替手段となることを示唆している。
関連論文リスト
- LLM Unlearning for Cyber Defense: A Survey on Methods, Challenges, and Emerging Threats [0.7799351572681111]
LLMは、医療、金融、教育、意思決定支援にまたがるセキュリティクリティカルなシステムにますます導入されている。
彼らの忘れることのできないことは、深刻なサイバーセキュリティ、プライバシー、安全リスクを生み出します。
本調査では,LLMアンラーニングを,セキュリティ,堅牢性,検証可能な忘れやすさのレンズを通して検討した。
論文 参考訳(メタデータ) (2026-06-23T00:17:34Z) - SentinelSphere: Integrating AI-Powered Real-Time Threat Detection with Cybersecurity Awareness Training [0.0]
SentinelSphereは、機械学習に基づく脅威識別と、Large Language Model(LLM)を利用したセキュリティトレーニングを一体化する、人工知能によって駆動されるプラットフォームである。
この検出モジュールは、CIC-IDS 2017とCIC-DDoS 2019ベンチマークデータセットに基づいてトレーニングされた強化ディープニューラルネットワーク(DNN)を使用しており、アプリケーションレベルのアタックシグネチャをキャプチャする新しいHTTP層機能エンジニアリングが強化されている。
教育コンポーネントとして、サイバーセキュリティ領域向けに微調整されたPhi-4モデル(Q4_K_M)の量子化バージョンをデプロイし、専用GPUリソースなしで16GBのRAMしか必要としないコモディティハードウェアへのデプロイを可能にする。
論文 参考訳(メタデータ) (2026-04-08T09:56:53Z) - CTIArena: Benchmarking LLM Knowledge and Reasoning Across Heterogeneous Cyber Threat Intelligence [48.63397742510097]
サイバー脅威インテリジェンス(CTI)は現代のサイバーセキュリティの中心であり、進化する脅威を検出し緩和するための重要な洞察を提供する。
大規模言語モデル(LLM)の自然言語理解と推論能力により、CTIに適用することへの関心が高まっている。
異種マルチソースCTI上でLLM性能を評価するための最初のベンチマークであるCTIArenaを提案する。
論文 参考訳(メタデータ) (2025-10-13T22:10:17Z) - Can LLMs effectively provide game-theoretic-based scenarios for cybersecurity? [51.96049148869987]
大規模言語モデル(LLM)は、コンピュータシステムのセキュリティに新しいツールと課題を提供する。
従来のゲーム理論フレームワークが,LLM駆動型アクターやボットの動作を効果的に捉えることができるかどうかを検討する。
論文 参考訳(メタデータ) (2025-08-04T08:57:14Z) - Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report [50.268821168513654]
我々は,Llama 3.1アーキテクチャ上に構築された,サイバーセキュリティにフォーカスした大規模言語モデル(LLM)であるFoundation-Sec-8Bを紹介する。
我々は、Llama 3.1-70B と GPT-4o-mini がサイバーセキュリティ固有のタスクで一致していることを示し、確立された新しいサイバーセキュリティベンチマークと新しいサイバーセキュリティベンチマークの両方で評価した。
当社のモデルを一般公開することで、公開とプライベート両方のサイバーセキュリティ状況において、AI駆動ツールの進歩と採用を加速することを目指しています。
論文 参考訳(メタデータ) (2025-04-28T08:41:12Z) - Large Language Models are Unreliable for Cyber Threat Intelligence [12.091163364089782]
大規模言語モデル(LLM)は、サイバーセキュリティ分野におけるデータの希薄化を緩和するために使用することができる。
我々は3つの最先端のLCMと350件の脅威情報レポートのデータセットを用いて実験を行った。
実物大の報告ではLCMが十分な性能を保証できない一方で、矛盾しすぎていることを示す。
論文 参考訳(メタデータ) (2025-03-29T18:09:36Z) - Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。
本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。
我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
論文 参考訳(メタデータ) (2025-02-12T17:19:36Z) - Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。
本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
論文 参考訳(メタデータ) (2024-11-21T08:20:31Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳(メタデータ) (2024-04-16T13:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。