論文の概要: Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA

• arxiv url: http://arxiv.org/abs/2607.18725v1
• Date: Tue, 21 Jul 2026 05:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.31806
• Title: Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA
• Title（参考訳）: セキュリティQAのための小型LCMの診断研究
• Abstract要約: 微調整はドメインアライメントを改善することができるが、事前の知識を侵食したり、指示追従を弱めたり、幻覚を増す。 サイバーセキュリティのQAに必要な3つの機能とともに、小さなLCMを特徴付ける診断フレームワークであるFiT(Find before Fine-Tune)を提示する。 微調整は、小さなモデルにおける語彙やパラメトリック知識を一貫して劣化させる。
• 参考スコア（独自算出の注目度）: 8.497684448695496
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) are increasingly fine-tuned for critical-domain Question-Answering (QA), yet choosing which small model to adapt, before paying the cost of adaptation, remains difficult. Fine-tuning can improve domain alignment, but it may also erode prior knowledge, weaken instruction-following, or increase hallucination, especially when labeled data are scarce or rapidly evolving as in cybersecurity. We present FiT (Find before Fine-Tune), a task-oriented diagnostic framework that characterizes small LLMs along three capabilities required for cybersecurity QA: vocabulary recognition, parametric knowledge, and contextualization of retrieved information. Using FiT, we conduct an empirical study of five open-weight 7-billion-parameter models under two fine-tuning regimes. We find that fine-tuning does not uniformly help: it consistently degrades vocabulary and parametric knowledge in small models, and the two regimes trade off differently. Knowledge-focused tuning causes moderate, rank-preserving degradation, whereas instruction-focused tuning collapses measured knowledge through induced abstention, inverting the knowledge ranking while leaving retrieval-grounded contextualization essentially intact. We quantify these regime-specific patterns with rank-correlation analysis and show that pre-fine-tuning FiT scores anticipate the direction of post-tuning change. Our results suggest that task-oriented diagnosis can screen out unsuitable models, avoid unnecessary fine-tuning, and support safer deployment of small LLMs in cybersecurity QA pipelines.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、臨界領域質問回答 (QA) のために微調整される傾向にあるが、どの小さなモデルに適応するかは、適応費用を支払う前に決めるのは難しいままである。 ファインチューニングはドメインアライメントを改善することができるが、特にサイバーセキュリティのようにラベル付きデータが不足または急速に進化している場合、事前の知識を損なったり、指示追従を弱めたり、幻覚を増すこともある。 サイバーセキュリティQAに必要な3つの機能、語彙認識、パラメトリック知識、検索情報のコンテキスト化を特徴付けるタスク指向診断フレームワークであるFiT(Find before Fine-Tune)を提案する。 2つの微調整条件下で、FiTを用いて、オープンウェイト7-ビリオンパラメータモデル5つの実験的検討を行った。 微調整は、小さなモデルにおける語彙やパラメトリックの知識を一貫して劣化させ、二つのレジームは異なるトレードオフをする。 知識中心のチューニングは、適度なランク保存の劣化を引き起こすが、命令中心のチューニングは、誘導された棄権によって測定された知識を崩壊させ、検索対象の文脈化を基本的に無傷に残しながら知識ランキングを反転させる。 本研究では,これらの規則固有のパターンをランク相関分析により定量化し,事前調整したFiTスコアが学習後の変化の方向を予測していることを示す。 以上の結果から,タスク指向診断は不適切なモデルをスクリーニングし,不要な微調整を回避し,サイバーセキュリティQAパイプラインにおける小さなLSMの安全な配置を支援することが示唆された。

関連論文リスト

• Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling [21.14539989233461]
  知識--'Less''' Language Models (KLLMs) KLLMは、名前付きエンティティが匿名化されたコーパスで事前訓練される。 我々は,KLLMがパラメトリック知識に頼らず,外部証拠に頼らず,現実的な条件下での信頼性の向上につながることを示した。
  論文  参考訳（メタデータ） (2026-07-14T14:48:53Z)
• Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning [10.87972575497941]
  思考の連鎖(CoT)推論は言語モデルを監視するのに有用である。 モデルはCoTをバイパスするプロンプト・ツー・アンサー・ショートカットに依存することができる。 構造的情報フローの観点からCoTの忠実性を考察する。
  論文  参考訳（メタデータ） (2026-05-22T23:37:29Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• AnalyticKWS: Towards Exemplar-Free Analytic Class Incremental Learning for Small-footprint Keyword Spotting [29.303650401396997]
  キーワードスポッティング(KWS)は、音声対応システムにおける音声コマンドを識別するための重要なメカニズムを提供する。 主要な問題は、モデルが以前のキーワードを認識する能力を失う、破滅的な忘れ物である。 本稿では,従来のデータを再検討することなく,モデルパラメータを更新する分析連続学習(AnalyticKWS)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T03:55:28Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Meta-Learning Online Adaptation of Language Models [88.8947656843812]
  大規模言語モデルは、そのパラメータにおける驚くほど広い世界の知識を符号化する。 しかし、静的言語モデルの知識は時代遅れになり、モデルの効果的な「シェルフライフ」が制限される。
  論文  参考訳（メタデータ） (2023-05-24T11:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。