論文の概要: SoK: Understanding Vulnerabilities in the Large Language Model Supply Chain
- arxiv url: http://arxiv.org/abs/2502.12497v1
- Date: Tue, 18 Feb 2025 03:22:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 20:12:08.773789
- Title: SoK: Understanding Vulnerabilities in the Large Language Model Supply Chain
- Title(参考訳): SoK: 大規模言語モデルのサプライチェーンにおける脆弱性を理解する
- Authors: Shenao Wang, Yanjie Zhao, Zhao Liu, Quanchen Zou, Haoyu Wang,
- Abstract要約: この研究は、13のライフサイクルステージにまたがる75の著名なプロジェクトにわたって報告された529の脆弱性を体系的に分析する。
その結果、脆弱性はアプリケーション(50.3%)とモデル(42.7%)に集中していることがわかった。
脆弱性の56.7%が修正されているが、これらのパッチの8%は効果がなく、繰り返し脆弱性が発生する。
- 参考スコア(独自算出の注目度): 8.581429744090316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) transform artificial intelligence, driving advancements in natural language understanding, text generation, and autonomous systems. The increasing complexity of their development and deployment introduces significant security challenges, particularly within the LLM supply chain. However, existing research primarily focuses on content safety, such as adversarial attacks, jailbreaking, and backdoor attacks, while overlooking security vulnerabilities in the underlying software systems. To address this gap, this study systematically analyzes 529 vulnerabilities reported across 75 prominent projects spanning 13 lifecycle stages. The findings show that vulnerabilities are concentrated in the application (50.3%) and model (42.7%) layers, with improper resource control (45.7%) and improper neutralization (25.1%) identified as the leading root causes. Additionally, while 56.7% of the vulnerabilities have available fixes, 8% of these patches are ineffective, resulting in recurring vulnerabilities. This study underscores the challenges of securing the LLM ecosystem and provides actionable insights to guide future research and mitigation strategies.
- Abstract(参考訳): 大規模言語モデル(LLM)は人工知能を変換し、自然言語理解、テキスト生成、自律システムの進歩を推進している。
開発とデプロイメントの複雑さの増大は、特にLLMサプライチェーンにおいて、重大なセキュリティ上の問題を引き起こします。
しかし、既存の研究は主にコンテンツ安全性に焦点を当てており、敵の攻撃、脱獄、バックドア攻撃などであり、基盤となるソフトウェアシステムのセキュリティ上の脆弱性を見落としている。
このギャップに対処するため、13のライフサイクルステージにまたがる75の著名なプロジェクトにわたって報告された529の脆弱性を系統的に分析した。
その結果、脆弱性はアプリケーション(50.3%)とモデル(42.7%)に集中しており、不適切なリソース制御(45.7%)と不適切な中和(25.1%)が主要な根本原因であることがわかった。
さらに、脆弱性の56.7%が修正されているが、これらのパッチの8%は効果がなく、繰り返し脆弱性が発生する。
本研究は, LLMエコシステムの確保の課題を浮き彫りにし, 今後の研究・緩和戦略の指針となる実用的な洞察を提供する。
関連論文リスト
- Fixing Outside the Box: Uncovering Tactics for Open-Source Security Issue Management [9.990683064304207]
我々はOSSプロジェクトにおける脆弱性修復戦術(RT)の分類に関する総合的研究を行う。
44個の異なるRTの階層型分類法を開発し,その有効性とコストを評価した。
私たちの発見は、代替ライブラリの使用や脆弱性の回避など、コミュニティ主導の戦略に大きく依存していることを強調しています。
論文 参考訳(メタデータ) (2025-03-30T08:24:58Z) - Decoding Dependency Risks: A Quantitative Study of Vulnerabilities in the Maven Ecosystem [1.5499426028105905]
本研究では,Mavenエコシステム内の脆弱性を調査し,14,459,139リリースの包括的なデータセットを分析した。
Maven特有のリスクのある弱点を示し、時間が経つにつれてますます危険なものになっていることを強調します。
以上の結果から,入力の不適切な処理や資源の不正管理が最もリスクが高いことが示唆された。
論文 参考訳(メタデータ) (2025-03-28T04:16:46Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2025-03-06T15:36:06Z) - Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
大規模言語モデル(LLM)の重大な脆弱性について検討する。
この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。
本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
論文 参考訳(メタデータ) (2025-02-03T18:43:36Z) - Streamlining Security Vulnerability Triage with Large Language Models [0.786186571320448]
セキュリティバグの共通弱さ(CWE)の同定を自動化し,その重症度を評価する新しいアプローチであるCASEYを提案する。
ケーシーはCWE識別精度68%、重度識別精度73.6%、組み合わせ精度51.2%を達成した。
論文 参考訳(メタデータ) (2025-01-31T06:02:24Z) - There are More Fish in the Sea: Automated Vulnerability Repair via Binary Templates [4.907610470063863]
本稿では,Javaバイナリに対するテンプレートベースの自動脆弱性修復手法を提案する。
Vul4Jデータセットの実験では、TemVURが11の脆弱性の修正に成功した。
TemVURの一般化性を評価するため、MaryVuls4Jデータセットをキュレートする。
論文 参考訳(メタデータ) (2024-11-27T06:59:45Z) - Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models [92.79804303337522]
VLM(Vision-Language Models)は、安全アライメントの問題に対して脆弱である。
本稿では、シナリオ認識画像生成を利用したセマンティックアライメントのための新しいジェイルブレイクフレームワークであるMLAIを紹介する。
大規模な実験はMLAIの重大な影響を示し、MiniGPT-4で77.75%、LLaVA-2で82.80%の攻撃成功率を達成した。
論文 参考訳(メタデータ) (2024-11-27T02:40:29Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳(メタデータ) (2024-07-23T15:31:26Z) - A Relevance Model for Threat-Centric Ranking of Cybersecurity Vulnerabilities [0.29998889086656577]
脆弱性の追跡と更新の絶え間ないプロセスは、サイバーセキュリティの専門家にとって最大の関心事だ。
我々は、MITRE ATT&CKから派生した敵対的基準を用いた脅威の軽減に特化して、脆弱性管理のためのフレームワークを提供する。
我々の結果は、サイバー脅威のアクターが標的にし、悪用される可能性のある脆弱性の特定に向けた平均71.5%から91.3%の改善を示している。
論文 参考訳(メタデータ) (2024-06-09T23:29:12Z) - TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning [63.481446315733145]
多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。
本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。
本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
論文 参考訳(メタデータ) (2024-04-30T14:43:57Z) - How Far Have We Gone in Vulnerability Detection Using Large Language
Models [15.09461331135668]
包括的な脆弱性ベンチマークであるVulBenchを紹介します。
このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。
いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-21T08:20:39Z) - Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。
我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
論文 参考訳(メタデータ) (2023-11-15T16:42:29Z) - Certified Robustness Against Natural Language Attacks by Causal
Intervention [61.62348826831147]
Causal Intervention by Semantic Smoothing (CISS)は、自然言語攻撃に対する堅牢性に向けた新しい枠組みである。
CISSは単語置換攻撃に対して確実に堅牢であり、未知の攻撃アルゴリズムによって摂動が強化されたとしても経験的に堅牢である。
論文 参考訳(メタデータ) (2022-05-24T19:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。