論文の概要: Fine-tuning of Large Language Models for Domain-Specific Cybersecurity Knowledge

• arxiv url: http://arxiv.org/abs/2509.25241v1
• Date: Thu, 25 Sep 2025 12:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:44:59.913724
• Title: Fine-tuning of Large Language Models for Domain-Specific Cybersecurity Knowledge
• Title（参考訳）: ドメイン特有なサイバーセキュリティ知識のための大規模言語モデルの微調整
• Authors: Yuan Huang,
• Abstract要約: 大規模言語モデル(LLM)にサイバーセキュリティ知識を組み込むための微調整戦略 サイバーセキュリティのQ&Aデータセットを用いて、スーパーバイザードファインチューニング(SFT)、ローランク適応(LoRA)、量子化ローランク適応(QLoRA)について検討した。 我々の研究は、汎用LLMとドメイン固有のアプリケーション間のギャップを埋めるための低ランク微調整戦略の可能性を強調している。
• 参考スコア（独自算出の注目度）: 3.728154028384911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in training paradigms for Large Language Models (LLMs) have unlocked their remarkable capabilities in natural language processing and cross-domain generalization. While LLMs excel in tasks like programming and mathematical problem-solving, their zero-shot performance in specialized domains requiring expert knowledge, such as cybersecurity, is often suboptimal. This limitation arises because foundational LLMs are designed for general-purpose applications, constraining their ability to encapsulate domain-specific expertise within their parameter space. To address this, we explore fine-tuning strategies to embed cybersecurity knowledge into LLMs, enhancing their performance in cybersecurity question-answering (Q\&A) tasks while prioritizing computational efficiency. Specifically, we investigate Supervised Fine-Tuning (SFT), Low-Rank Adaptation (LoRA), and Quantized Low-Rank Adaptation (QLoRA) using a cybersecurity Q\&A dataset. Our results demonstrate that these fine-tuning approaches significantly outperform the foundational model in cybersecurity Q\&A tasks. Moreover, LoRA and QLoRA achieve comparable performance to SFT with substantially lower computational costs, offering an efficient pathway for adapting LLMs to specialized domains. Our work highlights the potential of low-rank fine-tuning strategies to bridge the gap between general-purpose LLMs and domain-specific applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)の訓練パラダイムの最近の進歩は、自然言語処理やクロスドメインの一般化において、その顕著な能力を解き放ちつつある。 LLMはプログラミングや数学的問題解決といったタスクに優れていますが、サイバーセキュリティのような専門家の知識を必要とする専門分野におけるゼロショットのパフォーマンスは、しばしば準最適です。 この制限は、基礎的なLLMが汎用アプリケーション用に設計されており、パラメータ空間内でドメイン固有の専門知識をカプセル化する能力を制限しているために生じる。 そこで我々は,LLMにサイバーセキュリティ知識を組み込むための微調整戦略を検討し,計算効率を優先しながら,サイバーセキュリティ質問応答(Q\&A)タスクのパフォーマンスを向上させる。 具体的には、サイバーセキュリティQ\&Aデータセットを用いて、スーパービジョンファインチューニング(SFT)、ローランク適応(LoRA)、量子化ローランク適応(QLoRA)について検討する。 以上の結果から,これらの微調整アプローチがサイバーセキュリティQ&Aタスクの基本モデルを大きく上回っていることが示された。 さらに、LoRAとQLoRAは計算コストを大幅に削減し、特殊なドメインにLLMを適用するための効率的な経路を提供する。 我々の研究は、汎用LLMとドメイン固有のアプリケーション間のギャップを埋めるための低ランク微調整戦略の可能性を強調している。

関連論文リスト

• Less Data, More Security: Advancing Cybersecurity LLMs Specialization via Resource-Efficient Domain-Adaptive Continuous Pre-training with Minimal Tokens [1.2116854758481395]
  ドメイン適応型継続的事前訓練(Domain-Adaptive Continuous Pretraining, DAP)は、大規模言語モデル(LLM)におけるサイバーセキュリティ理解を強化する手法である。 我々は,1億6百万ワードのサイバーセキュリティコーパスを標準,学術文献,その他さまざまな情報源から活用して,デコーダベースの3つのアーキテクチャを適用した。 Llama-3.3-70B-Ins-DAPモデルは、それぞれ0.718、0.933、0.864の最先端のアキュラティを達成した。
  論文  参考訳（メタデータ） (2025-06-30T12:59:29Z)
• The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
  我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。 CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。 各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
  論文  参考訳（メタデータ） (2025-04-16T05:36:28Z)
• Throughput-Optimal Scheduling Algorithms for LLM Inference and AI Agents [6.318292471845427]
  我々は,大規模言語モデル(LLM)推論のための待ち行列の基礎を開発する。 大規模な'作業保守'スケジューリングアルゴリズムが最大スループットを達成できることを実証する。
  論文  参考訳（メタデータ） (2025-04-10T00:12:12Z)
• A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness [31.758459020683574]
  小言語モデル(SLM)は、低推論のレイテンシ、コスト効率性、効率的な開発、カスタマイズと適応性に対して、ますます好まれています。 これらのモデルは、リソース制限された環境とドメイン知識の獲得に特に適しています。 資源制約のある設定に特化タスクと適合性を持たせる能力によってSLMを定義することを提案する。
  論文  参考訳（メタデータ） (2024-11-04T04:43:01Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• CyberPal.AI: Empowering LLMs with Expert-Driven Cybersecurity Instructions [0.2999888908665658]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理(NLP)機能を持ち、様々なアプリケーションにまたがる汎用機能を提供する。 しかし、サイバーセキュリティのような複雑なドメイン固有のタスクへの応用は、しばしば重大な課題に直面している。 本研究では,SecKnowledgeとCyberPal.AIを紹介し,これらの課題に対処し,セキュリティ専門家のLSMを訓練する。
  論文  参考訳（メタデータ） (2024-08-17T22:37:39Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。