論文の概要: An Empirical Study on Using Large Language Models to Analyze Software
Supply Chain Security Failures
- arxiv url: http://arxiv.org/abs/2308.04898v1
- Date: Wed, 9 Aug 2023 15:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 13:52:31.747042
- Title: An Empirical Study on Using Large Language Models to Analyze Software
Supply Chain Security Failures
- Title（参考訳）: 大規模言語モデルを用いたソフトウェアサプライチェーンセキュリティ障害の解析に関する実証的研究
- Authors: Tanmay Singla, Dharun Anandayuvaraj, Kelechi G. Kalu, Taylor R.
Schorlemmer, James C. Davis
- Abstract要約: 将来の障害を防ぐ1つの方法は、過去の失敗を研究することです。
これらの障害を分析する従来の手法では、手動でレポートを読み、要約する必要がある。
大規模言語モデル(LLM)のような自然言語処理技術は、障害の分析を支援するために利用することができる。
- 参考スコア（独自算出の注目度）: 2.176373527773389
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As we increasingly depend on software systems, the consequences of breaches
in the software supply chain become more severe. High-profile cyber attacks
like those on SolarWinds and ShadowHammer have resulted in significant
financial and data losses, underlining the need for stronger cybersecurity. One
way to prevent future breaches is by studying past failures. However,
traditional methods of analyzing these failures require manually reading and
summarizing reports about them. Automated support could reduce costs and allow
analysis of more failures. Natural Language Processing (NLP) techniques such as
Large Language Models (LLMs) could be leveraged to assist the analysis of
failures. In this study, we assessed the ability of Large Language Models
(LLMs) to analyze historical software supply chain breaches. We used LLMs to
replicate the manual analysis of 69 software supply chain security failures
performed by members of the Cloud Native Computing Foundation (CNCF). We
developed prompts for LLMs to categorize these by four dimensions: type of
compromise, intent, nature, and impact. GPT 3.5s categorizations had an average
accuracy of 68% and Bard had an accuracy of 58% over these dimensions. We
report that LLMs effectively characterize software supply chain failures when
the source articles are detailed enough for consensus among manual analysts,
but cannot yet replace human analysts. Future work can improve LLM performance
in this context, and study a broader range of articles and failures.
- Abstract（参考訳）: ますますソフトウェアシステムに依存するようになり、ソフトウェアサプライチェーンにおける侵害の結果はより厳しくなります。
solarwindsやshadowhammerなどの著名なサイバー攻撃は、財務とデータに大きな損失をもたらし、より強力なサイバーセキュリティの必要性を強調している。
将来の障害を防ぐ一つの方法は、過去の失敗を研究することです。
しかしながら、これらの障害を分析する従来の方法は、手動でレポートを読み、要約する必要がある。
自動サポートはコストを削減し、より多くの障害の分析を可能にする。
大規模言語モデル(LLM)のような自然言語処理(NLP)技術は、障害の分析を支援するために利用することができる。
本研究では,Large Language Models (LLMs) を用いて,過去のソフトウェアサプライチェーンの障害を分析した。
LLMを使って、Cloud Native Computing Foundation(CNCF)のメンバーが実施した69のソフトウェアサプライチェーンのセキュリティ障害を手動で解析しました。
我々は, LLMがこれらを, 妥協の種類, 意図, 自然, 影響の4つの次元に分類するプロンプトを開発した。
GPT3.5s分類の平均精度は68%、Bard分類では58%であった。
本報告では,LLMがソフトウェアサプライチェーンの障害を,手動アナリストの間でのコンセンサスに十分な内容のソース記事で効果的に特徴付けるが,人間アナリストに取って代わることはできない。
今後の作業はこの文脈でLLMのパフォーマンスを改善し、幅広い記事や失敗を研究することができる。
関連論文リスト
- Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。
我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
論文 参考訳（メタデータ） (2024-08-29T10:00:57Z) - Exploring the extent of similarities in software failures across industries using LLMs [0.0]
本研究は, LLM(Failure Analysis Investigation with LLMs)モデルを用いて, 業界固有情報を抽出する。
以前の作業では、ニュース記事は信頼できる情報源から収集され、データベース内のインシデントによって分類された。
本研究は,これらの手法を,特定のドメインとソフトウェア障害の種類に分類することによって拡張する。
論文 参考訳（メタデータ） (2024-08-07T03:48:07Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。
実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
論文 参考訳（メタデータ） (2024-06-05T20:19:09Z) - Harnessing Large Language Models for Software Vulnerability Detection: A Comprehensive Benchmarking Study [1.03590082373586]
ソースコードの脆弱性発見を支援するために,大規模言語モデル(LLM)を提案する。
目的は、複数の最先端のLCMをテストし、最も優れたプロンプト戦略を特定することである。
LLMは従来の静的解析ツールよりも多くの問題を特定でき、リコールやF1スコアの点で従来のツールよりも優れています。
論文 参考訳（メタデータ） (2024-05-24T14:59:19Z) - Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。
LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。
第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
論文 参考訳（メタデータ） (2024-05-08T02:09:17Z) - A Comprehensive Study of the Capabilities of Large Language Models for Vulnerability Detection [9.422811525274675]
大規模言語モデル(LLM)は、コード生成やその他のソフトウェアエンジニアリングタスクに大きな可能性を実証しています。
脆弱性検出は、ソフトウェアシステムのセキュリティ、完全性、信頼性を維持する上で非常に重要である。
最近の研究は、ジェネリックプロンプト技術を用いた脆弱性検出にLLMを適用しているが、このタスクの能力とそれらが犯すエラーの種類は未だ不明である。
論文 参考訳（メタデータ） (2024-03-25T21:47:36Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳（メタデータ） (2023-08-25T14:02:12Z) - Large Language Models are Not Yet Human-Level Evaluators for Abstractive
Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。
また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文 参考訳（メタデータ） (2023-05-22T14:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。