Fugu-MT 論文翻訳(概要): Toward Cybersecurity-Expert Small Language Models

論文の概要: Toward Cybersecurity-Expert Small Language Models

arxiv url: http://arxiv.org/abs/2510.14113v1
Date: Wed, 15 Oct 2025 21:34:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-17 21:15:14.627666
Title: Toward Cybersecurity-Expert Small Language Models
Title（参考訳）: サイバーセキュリティを専門とする小言語モデルに向けて
Authors: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche,
Abstract要約: サイバーセキュリティに精通した小型言語モデル(SLM)のファミリーであるCyberPal 2.0を4B-20Bパラメータから紹介する。私たちは、データ強化とフォーマッティングパイプライン、SecKnowledge 2.0で構築された、豊富なチェーンのサイバーセキュリティインストラクションデータセットを生成します。多様なサイバーセキュリティベンチマークを通じて、CyberPal 2.0はベースラインを一貫して上回り、さまざまなオープンソースおよびクローズドソースフロンティアモデルを上回っている。
参考スコア（独自算出の注目度）: 3.155658695525581
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) are transforming everyday applications, yet deployment in cybersecurity lags due to a lack of high-quality, domain-specific models and training datasets. To address this gap, we present CyberPal 2.0, a family of cybersecurity-expert small language models (SLMs) ranging from 4B-20B parameters. To train CyberPal 2.0, we generate an enriched chain-of-thought cybersecurity instruction dataset built with our data enrichment and formatting pipeline, SecKnowledge 2.0, which integrates expert-in-the-loop steering of reasoning formats alongside LLM-driven multi-step grounding, yielding higher-fidelity, task-grounded reasoning traces for security tasks. Across diverse cybersecurity benchmarks, CyberPal 2.0 consistently outperforms its baselines and matches or surpasses various open and closed-source frontier models, while remaining a fraction of their size. On core cyber threat intelligence knowledge tasks, our models outperform almost all tested frontier models, ranking second only to Sec-Gemini v1. On core threat-investigation tasks, such as correlating vulnerabilities and bug tickets with weaknesses, our best 20B-parameter model outperforms GPT-4o, o1, o3-mini, and Sec-Gemini v1, ranking first, while our smallest 4B-parameter model ranks second.
Abstract（参考訳）: 大規模言語モデル(LLM)は日々のアプリケーションを変えつつありますが、高品質でドメイン固有のモデルやトレーニングデータセットが欠如しているため、サイバーセキュリティのラグに展開しています。このギャップに対処するため、サイバーセキュリティに精通した小型言語モデル(SLM)のファミリーであるCyberPal 2.0を4B-20Bパラメータから紹介する。 SecKnowledge 2.0は、LLM駆動のマルチステップグラウンドと並んで、推論フォーマットのエキスパート・イン・ザ・ループのステアリングを統合し、セキュリティタスクのための高忠実でタスクグラウンドの推論トレースを提供する。多様なサイバーセキュリティベンチマークを通じて、CyberPal 2.0はベースラインを一貫して上回り、さまざまなオープンソースとクローズドソースのフロンティアモデルにマッチし、そのサイズをわずかに上回っている。コアとなるサイバー脅威情報に関する知識タスクでは、私たちのモデルはテスト対象のフロンティアモデルよりも優れており、Sec-Gemini v1に次いで2位です。 GPT-4o, o1, o3-mini, Sec-Gemini v1よりも優れた20Bパラメータモデルで, 最小の4Bパラメータモデルでは2位です。

関連論文リスト

The Application of Transformer-Based Models for Predicting Consequences of Cyber Attacks [0.4604003661048266]
脅威モデリング(Threat Modeling)は、サイバーセキュリティの専門家に重要なサポートを提供し、タイムリーに行動し、他の場所で使用可能なリソースを割り当てることを可能にする。近年,攻撃記述の評価やサイバー攻撃の今後の結果を予測するための自動手法の必要性が高まっている。本研究では,NLP(Natural Language Processing)とディープラーニング(Deep Learning)がサイバー攻撃の潜在的影響を分析するためにどのように応用できるかを検討する。
論文参考訳（メタデータ） (2025-08-18T15:46:36Z)
The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。 CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
論文参考訳（メタデータ） (2025-04-16T05:36:28Z)
CyberLLMInstruct: A Pseudo-malicious Dataset Revealing Safety-performance Trade-offs in Cyber Security LLM Fine-tuning [2.549390156222399]
大規模言語モデルのサイバーセキュリティアプリケーションへの統合は、機会と重要な安全リスクの両方を示します。我々はサイバーセキュリティタスクにまたがる54,928の擬似重複命令応答ペアのデータセットであるCyberLLMInstructを紹介した。
論文参考訳（メタデータ） (2025-03-12T12:29:27Z)
CTINexus: Automatic Cyber Threat Intelligence Knowledge Graph Construction Using Large Language Models [49.657358248788945]
サイバー脅威インテリジェンス(CTI)レポートのテキスト記述は、サイバー脅威に関する豊富な知識源である。現在のCTI知識抽出法は柔軟性と一般化性に欠ける。我々は,データ効率の高いCTI知識抽出と高品質サイバーセキュリティ知識グラフ(CSKG)構築のための新しいフレームワークであるCTINexusを提案する。
論文参考訳（メタデータ） (2024-10-28T14:18:32Z)
Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文参考訳（メタデータ） (2024-04-01T16:50:54Z)
Revolutionizing Cyber Threat Detection with Large Language Models: A privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices [3.340416780217405]
本稿では,インターネットネットワークにおけるサイバー脅威検出にBERT(Bidirectional Representations from Transformers)モデルを活用する,新たなアーキテクチャであるSecurityBERTを提案する。我々の研究は、SecurityBERTがサイバー脅威検出において、畳み込みニューラルネットワーク(CNNIoT)やリカレントニューラルネットワーク(IoTRNN)など、従来の機械学習(ML)とディープラーニング(DL)の手法より優れていることを示した。 SecurityBERTは、14の異なる攻撃タイプを特定することで、98.2%の全体的な精度を達成し、ハイブリッドソリューションによって設定された過去の記録を上回った。
論文参考訳（メタデータ） (2023-06-25T15:04:21Z)
CySecBERT: A Domain-Adapted Language Model for the Cybersecurity Domain [0.0]
サイバーセキュリティ分野に特化した言語モデルを提案する。このモデルは、15の異なるドメイン依存外在的タスクと内在的タスクに基づく他のモデルと比較される。モデルが以前に訓練されたドメインに依存しない知識を検索できるので、破滅的な作業に対する我々のアプローチが示される。
論文参考訳（メタデータ） (2022-12-06T13:49:12Z)
Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文参考訳（メタデータ） (2022-11-27T21:43:45Z)
Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文参考訳（メタデータ） (2022-07-15T11:39:37Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。