論文の概要: Leveraging Large Language Models for Preliminary Security Risk Analysis: A Mission-Critical Case Study
- arxiv url: http://arxiv.org/abs/2403.15756v1
- Date: Sat, 23 Mar 2024 07:59:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 21:12:36.466375
- Title: Leveraging Large Language Models for Preliminary Security Risk Analysis: A Mission-Critical Case Study
- Title(参考訳): 予備的セキュリティリスク分析のための大規模言語モデルの活用:ミッションクリティカルケーススタディ
- Authors: Matteo Esposito, Francesco Palagiano,
- Abstract要約: PSRAにおけるヒトの専門家の速度と精度は応答時間に大きく影響した。
PSRAにおける細調整モデル(FTM)の能力について先行研究は行われていない。
提案手法は,PSRAの誤りの低減,セキュリティリスク検出の迅速化,偽陽性と否定の最小化に成功している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Preliminary security risk analysis (PSRA) provides a quick approach to identify, evaluate and propose remeditation to potential risks in specific scenarios. The extensive expertise required for an effective PSRA and the substantial ammount of textual-related tasks hinder quick assessments in mission-critical contexts, where timely and prompt actions are essential. The speed and accuracy of human experts in PSRA significantly impact response time. A large language model can quickly summarise information in less time than a human. To our knowledge, no prior study has explored the capabilities of fine-tuned models (FTM) in PSRA. Our case study investigates the proficiency of FTM to assist practitioners in PSRA. We manually curated 141 representative samples from over 50 mission-critical analyses archived by the industrial context team in the last five years.We compared the proficiency of the FTM versus seven human experts. Within the industrial context, our approach has proven successful in reducing errors in PSRA, hastening security risk detection, and minimizing false positives and negatives. This translates to cost savings for the company by averting unnecessary expenses associated with implementing unwarranted countermeasures. Therefore, experts can focus on more comprehensive risk analysis, leveraging LLMs for an effective preliminary assessment within a condensed timeframe.
- Abstract(参考訳): 予備的セキュリティリスク分析(PSRA)は、特定のシナリオにおける潜在的なリスクを識別し、評価し、対処するための迅速なアプローチを提供する。
効果的なPSRAに必要な広範な専門知識と大量のテキスト関連タスクは、ミッションクリティカルな状況において、タイムリーかつ迅速な行動が不可欠である迅速な評価を妨げる。
PSRAにおけるヒトの専門家の速度と精度は応答時間に大きく影響した。
大きな言語モデルは、人間よりも少ない時間で情報を素早く要約することができる。
我々の知る限り、PSRAにおける細調整モデル(FTM)の能力について事前の研究は行われていない。
本症例では,PSRAの実践者を支援するためのFTMの熟練度について検討した。
我々は過去5年間に50以上のミッションクリティカルな分析チームによって収集された141件のサンプルを手作業で収集し、FTMの熟練度を7人の人間専門家と比較した。
産業環境では,PSRAの誤りの低減,セキュリティリスクの検出の迅速化,偽陽性と否定の最小化に成功している。
これは、不当な対策の実施に伴う不要な費用を回避し、企業のコスト削減に繋がる。
したがって、専門家はより包括的なリスク分析に焦点を絞ることができる。
関連論文リスト
- Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - Risk and Response in Large Language Models: Evaluating Key Threat Categories [6.436286493151731]
本稿では,Large Language Models (LLMs) におけるリスクアセスメントのプレッシャーについて考察する。
人為的レッドチームデータセットを利用することで、情報ハザード、悪用、差別/憎しみのあるコンテンツなど、主要なリスクカテゴリを分析します。
以上の結果から,LSMは情報ハザードを有害とみなす傾向があることが示唆された。
論文 参考訳(メタデータ) (2024-03-22T06:46:40Z) - The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。
大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。
これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
論文 参考訳(メタデータ) (2024-03-13T21:39:39Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - Interpretable Survival Analysis for Heart Failure Risk Prediction [50.64739292687567]
現状の生存モデルと解釈可能かつ競合する新しい生存分析パイプラインを提案する。
我々のパイプラインは最先端のパフォーマンスを達成し、心不全のリスク要因に関する興味深い新しい洞察を提供する。
論文 参考訳(メタデータ) (2023-10-24T02:56:05Z) - Contrastive Learning of Temporal Distinctiveness for Survival Analysis
in Electronic Health Records [10.192973297290136]
本稿では,オントロジーを意識したテンポラリティに基づくコントラシブ・サバイバル(OTCSurv)分析フレームワークを提案する。
OTCSurvは、検閲されたデータと観察されたデータの両方から生存期間を使い、時間的特異性を定義する。
急性腎障害(AKI)を発症する危険のある入院患者のリスクを予測するために,大規模なEHRデータセットを用いて実験を行った。
論文 参考訳(メタデータ) (2023-08-24T22:36:22Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Just-In-Time Learning for Operational Risk Assessment in Power Grids [12.939739997360016]
再生可能エネルギーのかなりのシェアを持つグリッドでは、オペレーターは運用リスクを評価するための追加のツールが必要である。
本稿では,Just-In-Time Risk Assessment Learning Framework (JITRALF) を代替として提案する。
JITRALFは、リスクを見積もるために必要な量を予測するために、機械学習(ML)を使用して、1日に1時間に1回のリスクサロゲートをトレーニングする。
論文 参考訳(メタデータ) (2022-09-26T15:11:27Z) - A Survey of Risk-Aware Multi-Armed Bandits [84.67376599822569]
我々は、様々な利害リスク対策をレビューし、その特性についてコメントする。
我々は,探索と探索のトレードオフが現れる,後悔の最小化設定のためのアルゴリズムを検討する。
今後の研究の課題と肥大化についてコメントし、締めくくりに締めくくります。
論文 参考訳(メタデータ) (2022-05-12T02:20:34Z) - Validation and Transparency in AI systems for pharmacovigilance: a case
study applied to the medical literature monitoring of adverse events [0.483420384410068]
本稿では,薬物移動における検証済みAIシステムに対する既存のガイダンスの運用方法に関するケーススタディを提案する。
課題の専門家との密接なコラボレーションで構築された活動の軽減を目的として設計されたAIシステムについて述べる。
論文 参考訳(メタデータ) (2021-12-21T21:02:24Z) - Clinical Risk Prediction with Temporal Probabilistic Asymmetric
Multi-Task Learning [80.66108902283388]
マルチタスク学習手法は、臨床リスク予測などの安全クリティカルな応用に注意を払って使用すべきである。
既存の非対称なマルチタスク学習手法は、低損失のタスクから高損失のタスクへの知識伝達を行うことにより、この負の伝達問題に対処する。
特徴レベルの不確実性に基づいて,特定のタスク/タイムステップから関連する不確実なタスクへの知識伝達を行う,新しい時間的非対称型マルチタスク学習モデルを提案する。
論文 参考訳(メタデータ) (2020-06-23T06:01:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。