論文の概要: MiST: Mid-Training LLMs for Cybersecurity

• arxiv url: http://arxiv.org/abs/2609.18496v1
• Date: Wed, 16 Sep 2026 11:33:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.771943
• Title: MiST: Mid-Training LLMs for Cybersecurity
• Title（参考訳）: MiST:サイバーセキュリティのための中級トレーニング用LLM
• Abstract要約: 8Bおよび32BモデルのスイートであるMiST(Mid-trained Security Transformer)を公開サイバーセキュリティベンチマークで高いパフォーマンスを達成する。 我々は、一般トレーニングとサイバーセキュリティトレーニングの中間段階として、中級トレーニングを使用する。
• 参考スコア（独自算出の注目度）: 1.8607644258473375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cybersecurity combines high-stakes analysis with complex technical language, making it an impactful and challenging domain for LLMs. We present MiST (Mid-trained Security Transformer), a suite of 8B and 32B models that achieve strong performance on public cybersecurity benchmarks. We use mid-training as an intermediate adaptation stage between general pre-training and cybersecurity training. Rather than performing continual pre-training over large volumes of raw domain text, we curate a compact, expert-vetted seed corpus, and transform it into high-quality domain-specific synthetic training data. The final MiST checkpoints improve mean cybersecurity accuracy by +13.1 and +8.6 absolute percentage points over the corresponding Qwen baselines for 8B and 32B, respectively, corresponding to relative gains of +27.0% and +15.8%. Ablation results further show that these cybersecurity gains arise in the mid-training and supervised fine-tuning stages through a combination of the synthetic data generation flows. Furthermore, we show that MiST provides a stronger initialization for downstream task-specific fine-tuning adaptation and reinforcement learning.
• Abstract（参考訳）: サイバーセキュリティは、高度な分析と複雑な技術言語を組み合わせることで、LLMにとってインパクトがあり、挑戦的な領域となる。 8Bおよび32BモデルのスイートであるMiST(Mid-trained Security Transformer)を公開サイバーセキュリティベンチマークで高いパフォーマンスを達成する。 我々は、一般トレーニングとサイバーセキュリティトレーニングの中間段階として、中級トレーニングを使用する。 大量の原ドメインテキストに対して連続的な事前学習を行うのではなく、コンパクトで専門家が審査したシードコーパスをキュレートし、高品質なドメイン固有合成訓練データに変換する。 最終MiSTチェックポイントは、対応するQwenベースラインの8Bと32Bに対して、平均サイバーセキュリティ精度を+13.1と+8.6の絶対パーセンテージポイントで改善し、+27.0%と+15.8%の相対利得に対応する。 アブレーションの結果はさらに、これらのサイバーセキュリティの上昇は、合成データ生成フローの組み合わせによって、トレーニング中の段階で起こり、微調整段階が監督されることを示している。 さらに、MISTは、下流タスク固有の微調整適応と強化学習のためのより強力な初期化を提供することを示した。

関連論文リスト

• RedSage: A Cybersecurity Generalist LLM [45.91667919408369]
  RedSageは、ドメイン認識事前トレーニングとポストトレーニングを備えた、オープンソースでローカルにデプロイ可能なサイバーセキュリティアシスタントである。 フレームワーク、攻撃的テクニック、セキュリティツールにまたがる28.6Kのドキュメントにまたがって、大規模なWebフィルタリングと高品質なリソースのマニュアルコレクションを使用します。 RedSageは、確立されたサイバーセキュリティベンチマーク(例えば、CTI-Bench、CyberMetric、SECURE)と一般的なLCMベンチマークで評価され、より広範な一般化を評価する。
  論文  参考訳（メタデータ） (2026-01-29T18:59:57Z)
• JT-Safe: Intrinsically Enhancing the Safety and Trustworthiness of LLMs [53.59414720003988]
  大規模な言語モデルの不安全と幻覚は、本質的には事前学習に由来すると広く合意されている。 データは広大なので、事実の誤り、論理的不整合、あるいは分布バイアスのデータを完全に浄化することはほとんど不可能です。 産業シナリオを反映した大量のデータ量を増やすことを目的として, プレトレーニングデータを世界規模で拡張する手法を提案する。
  論文  参考訳（メタデータ） (2025-10-20T02:12:49Z)
• Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report [23.285449541240325]
  汎用サイバーセキュリティ対話に特化したモデルであるFoundation-Sec-8B-Instructをリリースする。 ドメイン固有の知識と命令追従、会話能力、人間の好みとの整合性を組み合わせることで、高品質で関連する応答を生成する。 総合的な評価によると、Foundation-Sec-8B-Instructは、様々なサイバーセキュリティタスクにおいてLlama 3.1-8B-Instructを上回っている。
  論文  参考訳（メタデータ） (2025-08-01T20:25:57Z)
• Less Data, More Security: Advancing Cybersecurity LLMs Specialization via Resource-Efficient Domain-Adaptive Continuous Pre-training with Minimal Tokens [1.2116854758481395]
  ドメイン適応型継続的事前訓練(Domain-Adaptive Continuous Pretraining, DAP)は、大規模言語モデル(LLM)におけるサイバーセキュリティ理解を強化する手法である。 我々は,1億6百万ワードのサイバーセキュリティコーパスを標準,学術文献,その他さまざまな情報源から活用して,デコーダベースの3つのアーキテクチャを適用した。 Llama-3.3-70B-Ins-DAPモデルは、それぞれ0.718、0.933、0.864の最先端のアキュラティを達成した。
  論文  参考訳（メタデータ） (2025-06-30T12:59:29Z)
• Towards Fully FP8 GEMM LLM Training at Scale [77.97607456493257]
  既存のアプローチは、しばしば最適化されたFP8カーネルに依存するか、より高精度な行列乗算に回帰する。 本稿では, トランスブロック内のすべてのGEMMに対して, 前方および後方の両方でFP8計算をサポートする新しいLLMアーキテクチャを提案する。 これにより、特に大規模では、標準的なBF16トレーニングのダウンストリームパフォーマンスにマッチしながら、前例のないスループット向上が可能になる。
  論文  参考訳（メタデータ） (2025-05-26T21:04:14Z)
• Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report [50.268821168513654]
  我々は,Llama 3.1アーキテクチャ上に構築された,サイバーセキュリティにフォーカスした大規模言語モデル(LLM)であるFoundation-Sec-8Bを紹介する。 我々は、Llama 3.1-70B と GPT-4o-mini がサイバーセキュリティ固有のタスクで一致していることを示し、確立された新しいサイバーセキュリティベンチマークと新しいサイバーセキュリティベンチマークの両方で評価した。 当社のモデルを一般公開することで、公開とプライベート両方のサイバーセキュリティ状況において、AI駆動ツールの進歩と採用を加速することを目指しています。
  論文  参考訳（メタデータ） (2025-04-28T08:41:12Z)
• Optimal Transport-Guided Source-Free Adaptation for Face Anti-Spoofing [58.56017169759816]
  本稿では,テスト時に顔のアンチスプーフィングモデルをクライアント自身でターゲットドメインに適応させる新しい手法を提案する。 具体的には,プロトタイプベースモデルと最適トランスポート誘導型アダプタを開発した。 近年の手法と比較して、クロスドメインおよびクロスアタック設定では、HTERが19.17%、AUCが8.58%の平均相対的改善が達成されている。
  論文  参考訳（メタデータ） (2025-03-29T06:10:34Z)
• CyberLLMInstruct: A Pseudo-malicious Dataset Revealing Safety-performance Trade-offs in Cyber Security LLM Fine-tuning [2.549390156222399]
  大規模言語モデルのサイバーセキュリティアプリケーションへの統合は、機会と重要な安全リスクの両方を示します。 我々はサイバーセキュリティタスクにまたがる54,928の擬似重複命令応答ペアのデータセットであるCyberLLMInstructを紹介した。
  論文  参考訳（メタデータ） (2025-03-12T12:29:27Z)
• Primus: A Pioneering Collection of Open-Source Datasets for Cybersecurity LLM Training [1.4027589547318844]
  大規模言語モデル(LLM)は、金融、法律、医学などの専門分野において顕著な進歩を見せている。 本稿では,プレトレーニング,命令微調整,蒸留の推論など,すべての主要な訓練段階をカバーする包括的なデータセットについて紹介する。 データセットの継続事前トレーニングでは、集計スコアが15.9%向上し、蒸留の推論は15.8%向上した。
  論文  参考訳（メタデータ） (2025-02-16T16:34:49Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。