論文の概要: An Empirical Study on Using Large Language Models to Analyze Software
Supply Chain Security Failures
- arxiv url: http://arxiv.org/abs/2308.04898v1
- Date: Wed, 9 Aug 2023 15:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 13:52:31.747042
- Title: An Empirical Study on Using Large Language Models to Analyze Software
Supply Chain Security Failures
- Title(参考訳): 大規模言語モデルを用いたソフトウェアサプライチェーンセキュリティ障害の解析に関する実証的研究
- Authors: Tanmay Singla, Dharun Anandayuvaraj, Kelechi G. Kalu, Taylor R.
Schorlemmer, James C. Davis
- Abstract要約: 将来の障害を防ぐ1つの方法は、過去の失敗を研究することです。
これらの障害を分析する従来の手法では、手動でレポートを読み、要約する必要がある。
大規模言語モデル(LLM)のような自然言語処理技術は、障害の分析を支援するために利用することができる。
- 参考スコア(独自算出の注目度): 2.176373527773389
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As we increasingly depend on software systems, the consequences of breaches
in the software supply chain become more severe. High-profile cyber attacks
like those on SolarWinds and ShadowHammer have resulted in significant
financial and data losses, underlining the need for stronger cybersecurity. One
way to prevent future breaches is by studying past failures. However,
traditional methods of analyzing these failures require manually reading and
summarizing reports about them. Automated support could reduce costs and allow
analysis of more failures. Natural Language Processing (NLP) techniques such as
Large Language Models (LLMs) could be leveraged to assist the analysis of
failures. In this study, we assessed the ability of Large Language Models
(LLMs) to analyze historical software supply chain breaches. We used LLMs to
replicate the manual analysis of 69 software supply chain security failures
performed by members of the Cloud Native Computing Foundation (CNCF). We
developed prompts for LLMs to categorize these by four dimensions: type of
compromise, intent, nature, and impact. GPT 3.5s categorizations had an average
accuracy of 68% and Bard had an accuracy of 58% over these dimensions. We
report that LLMs effectively characterize software supply chain failures when
the source articles are detailed enough for consensus among manual analysts,
but cannot yet replace human analysts. Future work can improve LLM performance
in this context, and study a broader range of articles and failures.
- Abstract(参考訳): ますますソフトウェアシステムに依存するようになり、ソフトウェアサプライチェーンにおける侵害の結果はより厳しくなります。
solarwindsやshadowhammerなどの著名なサイバー攻撃は、財務とデータに大きな損失をもたらし、より強力なサイバーセキュリティの必要性を強調している。
将来の障害を防ぐ一つの方法は、過去の失敗を研究することです。
しかしながら、これらの障害を分析する従来の方法は、手動でレポートを読み、要約する必要がある。
自動サポートはコストを削減し、より多くの障害の分析を可能にする。
大規模言語モデル(LLM)のような自然言語処理(NLP)技術は、障害の分析を支援するために利用することができる。
本研究では,Large Language Models (LLMs) を用いて,過去のソフトウェアサプライチェーンの障害を分析した。
LLMを使って、Cloud Native Computing Foundation(CNCF)のメンバーが実施した69のソフトウェアサプライチェーンのセキュリティ障害を手動で解析しました。
我々は, LLMがこれらを, 妥協の種類, 意図, 自然, 影響の4つの次元に分類するプロンプトを開発した。
GPT3.5s分類の平均精度は68%、Bard分類では58%であった。
本報告では,LLMがソフトウェアサプライチェーンの障害を,手動アナリストの間でのコンセンサスに十分な内容のソース記事で効果的に特徴付けるが,人間アナリストに取って代わることはできない。
今後の作業はこの文脈でLLMのパフォーマンスを改善し、幅広い記事や失敗を研究することができる。
関連論文リスト
- Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。
LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。
第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
論文 参考訳(メタデータ) (2024-05-08T02:09:17Z) - CyberSecEval 2: A Wide-Ranging Cybersecurity Evaluation Suite for Large Language Models [6.931433424951554]
大規模言語モデル(LLM)は新たなセキュリティリスクを導入するが、これらのリスクを計測し、削減するための包括的な評価スイートはほとんどない。
LLMのセキュリティリスクと能力を定量化する新しいベンチマークであるBenchmarkNameを提案する。
我々は,GPT-4,Mistral,Meta Llama 370B-Instruct,Code Llamaを含む複数のSOTA (State-of-the-art) LLMを評価した。
論文 参考訳(メタデータ) (2024-04-19T20:11:12Z) - A Comprehensive Study of the Capabilities of Large Language Models for Vulnerability Detection [9.422811525274675]
大規模言語モデル(LLM)は、コード生成やその他のソフトウェアエンジニアリングタスクに大きな可能性を実証しています。
脆弱性検出は、ソフトウェアシステムのセキュリティ、完全性、信頼性を維持する上で非常に重要である。
最近の研究は、ジェネリックプロンプト技術を用いた脆弱性検出にLLMを適用しているが、このタスクの能力とそれらが犯すエラーの種類は未だ不明である。
論文 参考訳(メタデータ) (2024-03-25T21:47:36Z) - The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。
大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。
これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
論文 参考訳(メタデータ) (2024-03-13T21:39:39Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Are LLMs Capable of Data-based Statistical and Causal Reasoning?
Benchmarking Advanced Quantitative Reasoning with Data [94.56126023937233]
実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。
このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴って、411の質問を慎重に構築したデータセットで構成されている。
データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
論文 参考訳(メタデータ) (2024-02-27T16:15:03Z) - Understanding the Effectiveness of Large Language Models in Detecting
Security Vulnerabilities [13.591113697508117]
LLM(Large Language Models)は、コード関連のタスクにおいて顕著なパフォーマンスを示す。
LLMは、既存の静的解析やディープラーニングに基づく脆弱性検出ツールよりもよく機能することを示す。
LLMは、しばしば、コード内の脆弱なデータフローを特定する、信頼できる説明を提供する。
論文 参考訳(メタデータ) (2023-11-16T13:17:20Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳(メタデータ) (2023-08-25T14:02:12Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Large Language Models are Not Yet Human-Level Evaluators for Abstractive
Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。
また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文 参考訳(メタデータ) (2023-05-22T14:58:13Z) - Trojaning Language Models for Fun and Profit [53.45727748224679]
TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。
セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
論文 参考訳(メタデータ) (2020-08-01T18:22:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。