論文の概要: Threat Modelling using Domain-Adapted Language Models: Empirical Evaluation and Insights
- arxiv url: http://arxiv.org/abs/2605.10808v1
- Date: Mon, 11 May 2026 16:31:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.990235
- Title: Threat Modelling using Domain-Adapted Language Models: Empirical Evaluation and Insights
- Title（参考訳）: ドメイン適応言語モデルを用いた脅威モデリング:経験的評価と洞察
- Authors: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy,
- Abstract要約: 大規模言語モデル(LLM)は、脆弱性検出などのサイバーセキュリティアプリケーションのためにますます研究されている。
本研究では,ドメイン適応型言語モデルを用いて,構造化脅威モデリングの研究領域を体系的に評価することによって拡張する。
LLMとSmall Language Models(SLM)は、通信やサイバーシークエンスに適応したドメインである。
- 参考スコア（独自算出の注目度）: 0.45880283710344066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models(LLMs) are increasingly explored for cybersecurity applications such as vulnerability detection. In the domain of threat modelling, prior work has primarily evaluated a number of general-purpose Large Language Models under limited prompting settings. In this study, we extend the research area of structured threat modelling by systematically evaluating domain-adapted language models of different sizes to their general counterparts. We use both LLMs and Small Language Models(SLMs) that were domain adapted to telecommunications and cybersecuirty. For the structured threat modelling, we selected the widely used STRIDE approach and the application area is 5G security. We present a comprehensive empirical evaluation using 52 different configurations (on 8 different language models) to analyze the impact of 1) domain adaptation, 2) model scale, 3) decoding strategies (greedy vs. stochastic sampling), and 4) prompting technique on STRIDE threat classification. Our results show that domain-adapted models do not consistently outperform their general-purpose counterparts, and decoding strategies significantly affect model behavior and output validity. They also show that while larger models generally achieve higher performance, these gains are neither consistent nor sufficient for reliable threat modelling. These findings highlight fundamental limitations of current LLMs for structured threat modelling tasks and suggest that improvements require more than additional training data or model scaling, motivating the need for incorporating more task-specific reasoning and stronger grounding in security concepts. We present insights on invalid outputs encountered and present suggestions for prompting tailored specifically for STRIDE threat modelling.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、脆弱性検出などのサイバーセキュリティアプリケーションのためにますます研究されている。
脅威モデリングの分野では、先行研究は主に、限定的なプロンプト設定の下で、多くの汎用の大規模言語モデルを評価してきた。
本研究では,異なる大きさのドメイン適応言語モデルを汎用言語に体系的に評価することにより,構造化脅威モデリングの研究領域を拡張した。
LLMとSmall Language Models(SLM)は、通信やサイバーシークエンスに適応したドメインである。
構造化脅威モデリングでは、広く使われているSTRIDEアプローチを選択し、アプリケーション領域は5Gセキュリティである。
52の異なる構成(8つの異なる言語モデル)を用いて総合的な経験的評価を行い、その影響を分析する。
1)ドメイン適応
2)モデルスケール。
3)復号戦略(グリーディ対確率サンプリング)、
4)STRIDE脅威分類の促進手法について検討した。
この結果から,ドメイン適応モデルは汎用モデルよりも一貫して優れておらず,復号化戦略はモデルの挙動や出力の妥当性に大きな影響を及ぼすことが明らかとなった。
彼らはまた、より大きなモデルは一般的により高いパフォーマンスを達成するが、これらの利得は一貫性がなく、信頼できる脅威モデリングに十分でないことを示した。
これらの知見は、構造化脅威モデリングタスクにおける現在のLLMの基本的制限を強調し、改善には追加のトレーニングデータやモデルスケーリング以上のものが必要であることを示唆し、タスク固有の推論とより強力なセキュリティ概念の基盤を組み込むことの必要性を動機付けている。
本稿では,不確実なアウトプットに対する洞察と,STRIDEの脅威モデリングに特化して適応するための提案について述べる。
関連論文リスト
- Augmenting Parameter-Efficient Pre-trained Language Models with Large Language Models [6.524460254566904]
本稿では,大規模言語モデルを用いた事前学習型言語モデルの能力向上のための2つの戦略を提案する。
我々は,パラメータ効率の良い事前学習モデルと大規模言語モデルを組み合わせることで,モデルの信頼性と堅牢性を向上させることを実証的に実証した。
論文 参考訳（メタデータ） (2026-01-19T10:25:56Z) - Bayesian Low-Rank Factorization for Robust Model Adaptation [60.296574524609575]
本研究では,音声基礎モデルに対する因子化アダプタについて検討し,前処理をゼロに近い位置で行うことで,スペーサー適応行列を実現する。
その結果, 適応損失は最小限に抑えられたが, 基礎モデルの破滅的忘れを著しく減らした。
論文 参考訳（メタデータ） (2025-10-21T15:23:30Z) - Tiny Reward Models [0.0]
我々は、最小4億のパラメータを持つ小さな双方向マスク付き言語モデル(MLM)のファミリーであるTinyRMを提示する。
TinyRMは、FLAN方式のプロンプト、DRA(Directional Low-Rank Adaptation)と層凍結を組み合わせて、RewardBench上での強力なパフォーマンスを実現している。
我々の実験は、特に推論において、小モデルがドメイン固有のチューニング戦略の恩恵を受けることを示唆している。
論文 参考訳（メタデータ） (2025-07-14T06:43:00Z) - Graph Representation-based Model Poisoning on Federated Large Language Models [3.5233863453805143]
フェデレートされた大規模言語モデル(FedLLMs)は、データのプライバシを保持しながら、無線ネットワーク内で強力な生成機能を実現する。
本稿では,FedLLMのモデル中毒技術と既存の防御機構の最近の進歩について概説する。
さらに、グラフ表現に基づくモデル中毒(GRMP)は、良質なクライアント勾配間の高次相関を利用して、悪意ある更新を正当なものと区別できないものにする新興攻撃パラダイムである。
論文 参考訳（メタデータ） (2025-07-02T13:20:52Z) - A Survey on Model Extraction Attacks and Defenses for Large Language Models [55.60375624503877]
モデル抽出攻撃は、デプロイされた言語モデルに重大なセキュリティ脅威をもたらす。
この調査は、抽出攻撃と防御攻撃の包括的分類、機能抽出への攻撃の分類、データ抽出の訓練、およびプロンプトターゲット攻撃を提供する。
モデル保護,データプライバシ保護,迅速なターゲット戦略に編成された防御機構について検討し,その効果を異なる展開シナリオで評価する。
論文 参考訳（メタデータ） (2025-06-26T22:02:01Z) - Membership Inference Attacks on Large-Scale Models: A Survey [5.795582095405318]
メンバーシップ推論攻撃(MIA)は、プライバシーリスクを暴露または評価するための重要なテクニックである。
大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)を対象とするMIAの総合的なレビューを初めて行った。
先行調査とは違って,事前学習,微調整,アライメント,検索・拡張生成(RAG)など,モデルパイプラインの複数段階にわたるMIAについて検討する。
論文 参考訳（メタデータ） (2025-03-25T04:11:47Z) - Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。
入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。
複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
論文 参考訳（メタデータ） (2023-11-15T02:59:10Z) - SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。
実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
論文 参考訳（メタデータ） (2023-10-19T11:49:22Z) - CySecBERT: A Domain-Adapted Language Model for the Cybersecurity Domain [0.0]
サイバーセキュリティ分野に特化した言語モデルを提案する。
このモデルは、15の異なるドメイン依存外在的タスクと内在的タスクに基づく他のモデルと比較される。
モデルが以前に訓練されたドメインに依存しない知識を検索できるので、破滅的な作業に対する我々のアプローチが示される。
論文 参考訳（メタデータ） (2022-12-06T13:49:12Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。