論文の概要: Incident Response Planning Using a Lightweight Large Language Model with Reduced Hallucination
- arxiv url: http://arxiv.org/abs/2508.05188v1
- Date: Thu, 07 Aug 2025 09:23:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.785027
- Title: Incident Response Planning Using a Lightweight Large Language Model with Reduced Hallucination
- Title(参考訳): 覚醒を低減した軽量大言語モデルを用いたインシデント対応計画
- Authors: Kim Hammar, Tansu Alpcan, Emil C. Lupu,
- Abstract要約: この課題を軽減するための有望なアプローチは、インシデントハンドリング中にセキュリティオペレータを支援するために、大きな言語モデル(LLM)に埋め込まれたセキュリティ知識を使用することである。
最近の研究はこのアプローチの可能性を示しているが、現在の手法は主にフロンティアLLMの迅速な工学に基づいている。
幻覚の減少を伴うインシデント対応計画にLLMを用いた新しい手法を提案する。
- 参考スコア(独自算出の注目度): 5.137733470931303
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Timely and effective incident response is key to managing the growing frequency of cyberattacks. However, identifying the right response actions for complex systems is a major technical challenge. A promising approach to mitigate this challenge is to use the security knowledge embedded in large language models (LLMs) to assist security operators during incident handling. Recent research has demonstrated the potential of this approach, but current methods are mainly based on prompt engineering of frontier LLMs, which is costly and prone to hallucinations. We address these limitations by presenting a novel way to use an LLM for incident response planning with reduced hallucination. Our method includes three steps: fine-tuning, information retrieval, and lookahead planning. We prove that our method generates response plans with a bounded probability of hallucination and that this probability can be made arbitrarily small at the expense of increased planning time under certain assumptions. Moreover, we show that our method is lightweight and can run on commodity hardware. We evaluate our method on logs from incidents reported in the literature. The experimental results show that our method a) achieves up to 22% shorter recovery times than frontier LLMs and b) generalizes to a broad range of incident types and response actions.
- Abstract(参考訳): サイバー攻撃の発生頻度を管理する上で、タイムリーで効果的なインシデント対応が鍵となる。
しかし、複雑なシステムに対する適切な応答アクションを特定することは、大きな技術的課題である。
この課題を軽減するための有望なアプローチは、インシデントハンドリング中にセキュリティオペレータを支援するために、大きな言語モデル(LLM)に埋め込まれたセキュリティ知識を使用することである。
最近の研究はこのアプローチの可能性を示しているが、現在の手法は主にハロゲン化にコストがかかるフロンティアLSMの迅速な工学に基づいている。
幻覚の減少を伴うインシデント対応計画にLSMを使用する新しい方法を提案することにより,これらの制約に対処する。
本手法は,ファインチューニング,情報検索,ルックアヘッド計画という3つのステップを含む。
本研究では,本手法が幻覚確率の有界な応答計画を生成することを証明し,一定条件下での計画時間の増加を犠牲にして,この確率を任意に小さくすることができることを示す。
さらに,本手法は軽量であり,コモディティハードウェア上で動作可能であることを示す。
文献に報告されたインシデントからログの方法を評価する。
実験結果から,本手法の有効性が示唆された。
a)フロンティアLSMよりも22%短い回復時間を実現し、
b) 広範囲のインシデントタイプ及び対応行動に一般化する。
関連論文リスト
- Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [62.579951798437115]
本研究では任意のプロンプトの反復的近似評価について検討する。
Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。
MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
論文 参考訳(メタデータ) (2025-07-07T03:20:52Z) - Saffron-1: Safety Inference Scaling [69.61130284742353]
SAFFRONは、安全保証のために明示的に調整された、新しい推論スケーリングパラダイムである。
我々のアプローチの中心は、要求される報酬モデルの評価を著しく削減する乗算報酬モデル(MRM)の導入である。
トレーニング済みの多機能報酬モデル(Saffron-1)とそれに伴うトークンレベルの安全報酬データセット(Safety4M)を公開します。
論文 参考訳(メタデータ) (2025-06-06T18:05:45Z) - Adaptive Stress Testing Black-Box LLM Planners [6.474403098238064]
大規模言語モデル(LLM)は、意思決定タスク全体にわたる一般化の成功を最近証明した。
しかし、安全でないアウトプットと望ましくないアウトプットを幻覚させる傾向はリスクを引き起こす。
このような障害の検出は,特に安全クリティカルなシナリオにおいて必要である,と我々は主張する。
論文 参考訳(メタデータ) (2025-05-08T21:50:43Z) - Invoke Interfaces Only When Needed: Adaptive Invocation for Large Language Models in Question Answering [5.100085108873068]
本研究では,AttenHScoreと呼ばれる実用的な呼び出し評価指標を提案する。
小さなLMの生成過程における幻覚の蓄積と伝播を計算する。
検出しきい値を動的に調整することにより、大きなLMのより正確なリアルタイム実行を実現する。
論文 参考訳(メタデータ) (2025-05-05T01:45:56Z) - LLM-Safety Evaluations Lack Robustness [58.334290876531036]
我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。
本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
論文 参考訳(メタデータ) (2025-03-04T12:55:07Z) - Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。
合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。
我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
論文 参考訳(メタデータ) (2024-08-18T14:25:44Z) - Counterfactual Explainable Incremental Prompt Attack Analysis on Large Language Models [32.03992137755351]
本研究は,大規模言語モデル(LLM)における安全性とプライバシ対策の推進的必要性に光を当てるものである。
本稿では,攻撃効果を定量的に測定するために,特定の方法でプロンプトを誘導する新しい手法であるCEIPAを提案する。
論文 参考訳(メタデータ) (2024-07-12T14:26:14Z) - KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [52.34892973785117]
大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。
この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。
我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
論文 参考訳(メタデータ) (2024-03-05T16:39:12Z) - Reason for Future, Act for Now: A Principled Framework for Autonomous
LLM Agents with Provable Sample Efficiency [53.8779374188643]
本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。
具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。
各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
論文 参考訳(メタデータ) (2023-09-29T16:36:39Z) - Knowledge Sanitization of Large Language Models [4.722882736419499]
大規模な言語モデル(LLM)は、大量のWebデータをトレーニングすることで、機密情報や機密情報を明らかにする可能性がある。
我々の手法はローランド適応法(LoRA)を用いてこれらのモデルを効率的に微調整する。
クローズドブック質問応答タスクによる実験結果から,本手法は知識リークを最小限に抑えるだけでなく,LLMの全体的な性能も維持できることがわかった。
論文 参考訳(メタデータ) (2023-09-21T07:49:55Z) - Flexible and Efficient Long-Range Planning Through Curious Exploration [13.260508939271764]
The Curious Sample Planner can realize temporallyextended plan for a wide range of really 3D task。
対照的に、標準的な計画と学習の方法は、多くの場合、これらのタスクを全く解決しなかったり、膨大な数のトレーニングサンプルでのみ実行できなかったりします。
論文 参考訳(メタデータ) (2020-04-22T21:47:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。