論文の概要: RedSage: A Cybersecurity Generalist LLM
- arxiv url: http://arxiv.org/abs/2601.22159v1
- Date: Thu, 29 Jan 2026 18:59:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:50.114328
- Title: RedSage: A Cybersecurity Generalist LLM
- Title(参考訳): RedSage: サイバーセキュリティのジェネリスト LLM
- Authors: Naufal Suryanto, Muzammal Naseer, Pengfei Li, Syed Talal Wasim, Jinhui Yi, Juergen Gall, Paolo Ceravolo, Ernesto Damiani,
- Abstract要約: RedSageは、ドメイン認識事前トレーニングとポストトレーニングを備えた、オープンソースでローカルにデプロイ可能なサイバーセキュリティアシスタントである。
フレームワーク、攻撃的テクニック、セキュリティツールにまたがる28.6Kのドキュメントにまたがって、大規模なWebフィルタリングと高品質なリソースのマニュアルコレクションを使用します。
RedSageは、確立されたサイバーセキュリティベンチマーク(例えば、CTI-Bench、CyberMetric、SECURE)と一般的なLCMベンチマークで評価され、より広範な一般化を評価する。
- 参考スコア(独自算出の注目度): 45.91667919408369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cybersecurity operations demand assistant LLMs that support diverse workflows without exposing sensitive data. Existing solutions either rely on proprietary APIs with privacy risks or on open models lacking domain adaptation. To bridge this gap, we curate 11.8B tokens of cybersecurity-focused continual pretraining data via large-scale web filtering and manual collection of high-quality resources, spanning 28.6K documents across frameworks, offensive techniques, and security tools. Building on this, we design an agentic augmentation pipeline that simulates expert workflows to generate 266K multi-turn cybersecurity samples for supervised fine-tuning. Combined with general open-source LLM data, these resources enable the training of RedSage, an open-source, locally deployable cybersecurity assistant with domain-aware pretraining and post-training. To rigorously evaluate the models, we introduce RedSage-Bench, a benchmark with 30K multiple-choice and 240 open-ended Q&A items covering cybersecurity knowledge, skills, and tool expertise. RedSage is further evaluated on established cybersecurity benchmarks (e.g., CTI-Bench, CyberMetric, SECURE) and general LLM benchmarks to assess broader generalization. At the 8B scale, RedSage achieves consistently better results, surpassing the baseline models by up to +5.59 points on cybersecurity benchmarks and +5.05 points on Open LLM Leaderboard tasks. These findings demonstrate that domain-aware agentic augmentation and pre/post-training can not only enhance cybersecurity-specific expertise but also help to improve general reasoning and instruction-following. All models, datasets, and code are publicly available.
- Abstract(参考訳): サイバーセキュリティオペレーションは、機密データを暴露することなく多様なワークフローをサポートするアシスタントLLMを要求する。
既存のソリューションはプライバシのリスクを持つプロプライエタリなAPIに依存するか、ドメイン適応に欠けるオープンモデルに依存している。
このギャップを埋めるために、大規模なWebフィルタリングと高品質なリソースの手作業による収集を通じて、サイバーセキュリティに焦点を当てた継続事前トレーニングデータの11.8Bトークンを、フレームワーク、攻撃的テクニック、セキュリティツールにまたがる28.6Kドキュメントをキュレートする。
これに基づいて、専門家のワークフローをシミュレートしたエージェント拡張パイプラインを設計し、教師付き微調整のための266Kのマルチターンサイバーセキュリティサンプルを生成する。
一般的なLLMデータと組み合わせることで、これらのリソースは、オープンソースでローカルにデプロイ可能なサイバーセキュリティアシスタントであるRedSageのトレーニングを可能にする。
モデルを厳格に評価するために、RedSage-Benchを紹介します。これは、30Kのマルチチョイスと240のオープンエンドQ&Aアイテムを備えたベンチマークで、サイバーセキュリティの知識、スキル、ツールの専門知識をカバーしています。
RedSageは、確立されたサイバーセキュリティベンチマーク(例えば、CTI-Bench、CyberMetric、SECURE)と一般的なLLMベンチマークでさらに評価され、より広範な一般化を評価する。
8Bスケールでは、RedSageは、サイバーセキュリティベンチマークで+5.59ポイント、Open LLM Leaderboardタスクで+5.05ポイントまで、ベースラインモデルを上回る、一貫してより良い結果が得られる。
これらの結果から, ドメイン認識型エージェント強化とプレ/ポストトレーニングは, サイバーセキュリティ特有の専門知識を高めるだけでなく, 一般的な推論や指導フォローの改善にも有効であることが示唆された。
すべてのモデル、データセット、コードは公開されています。
関連論文リスト
- Llama-3.1-FoundationAI-SecurityLLM-Reasoning-8B Technical Report [48.22833523688154]
私たちは、サイバーセキュリティのための初のオープンソースのネイティブ推論モデルであるFoundation-Sec-8B-Reasoningを紹介します。
このモデルは、教師付き微調整(SFT)と検証可能な報酬(RLVR)からの強化学習を組み合わせた2段階のプロセスで訓練される。
論文 参考訳(メタデータ) (2026-01-28T21:15:24Z) - CTIArena: Benchmarking LLM Knowledge and Reasoning Across Heterogeneous Cyber Threat Intelligence [48.63397742510097]
サイバー脅威インテリジェンス(CTI)は現代のサイバーセキュリティの中心であり、進化する脅威を検出し緩和するための重要な洞察を提供する。
大規模言語モデル(LLM)の自然言語理解と推論能力により、CTIに適用することへの関心が高まっている。
異種マルチソースCTI上でLLM性能を評価するための最初のベンチマークであるCTIArenaを提案する。
論文 参考訳(メタデータ) (2025-10-13T22:10:17Z) - CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale [45.97598662617568]
我々は188のソフトウェアプロジェクトにわたる1,507の実際の脆弱性を特徴とする大規模ベンチマークであるCyberGymを紹介した。
我々はCyberGymが35のゼロデイ脆弱性と17の歴史的不完全なパッチを発見できることを示した。
これらの結果は、CyberGymは、サイバーセキュリティにおけるAIの進歩を測定するための堅牢なベンチマークであるだけでなく、直接的な現実世界のセキュリティ効果を生み出すためのプラットフォームでもあることを強調している。
論文 参考訳(メタデータ) (2025-06-03T07:35:14Z) - Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report [50.268821168513654]
我々は,Llama 3.1アーキテクチャ上に構築された,サイバーセキュリティにフォーカスした大規模言語モデル(LLM)であるFoundation-Sec-8Bを紹介する。
我々は、Llama 3.1-70B と GPT-4o-mini がサイバーセキュリティ固有のタスクで一致していることを示し、確立された新しいサイバーセキュリティベンチマークと新しいサイバーセキュリティベンチマークの両方で評価した。
当社のモデルを一般公開することで、公開とプライベート両方のサイバーセキュリティ状況において、AI駆動ツールの進歩と採用を加速することを目指しています。
論文 参考訳(メタデータ) (2025-04-28T08:41:12Z) - The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。
CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。
各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
論文 参考訳(メタデータ) (2025-04-16T05:36:28Z) - CyberLLMInstruct: A Pseudo-malicious Dataset Revealing Safety-performance Trade-offs in Cyber Security LLM Fine-tuning [2.549390156222399]
大規模言語モデルのサイバーセキュリティアプリケーションへの統合は、機会と重要な安全リスクの両方を示します。
我々はサイバーセキュリティタスクにまたがる54,928の擬似重複命令応答ペアのデータセットであるCyberLLMInstructを紹介した。
論文 参考訳(メタデータ) (2025-03-12T12:29:27Z) - Primus: A Pioneering Collection of Open-Source Datasets for Cybersecurity LLM Training [1.4027589547318844]
大規模言語モデル(LLM)は、金融、法律、医学などの専門分野において顕著な進歩を見せている。
本稿では,プレトレーニング,命令微調整,蒸留の推論など,すべての主要な訓練段階をカバーする包括的なデータセットについて紹介する。
データセットの継続事前トレーニングでは、集計スコアが15.9%向上し、蒸留の推論は15.8%向上した。
論文 参考訳(メタデータ) (2025-02-16T16:34:49Z) - Large Language Models for Cyber Security: A Systematic Literature Review [17.073186844004148]
大規模言語モデル(LLM)は、サイバーセキュリティを含むさまざまなアプリケーションドメインで人工知能を活用する新たな機会を開いた。
LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出など、幅広いサイバーセキュリティタスクに適用されている。
LLMベースの自律エージェントは、シングルタスク実行から複雑なマルチステップセキュリティのオーケストレーションへのパラダイムシフトを表している。
論文 参考訳(メタデータ) (2024-05-08T02:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。