論文の概要: On Security Weaknesses and Vulnerabilities in Deep Learning Systems
- arxiv url: http://arxiv.org/abs/2406.08688v1
- Date: Wed, 12 Jun 2024 23:04:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 21:57:44.914847
- Title: On Security Weaknesses and Vulnerabilities in Deep Learning Systems
- Title（参考訳）: ディープラーニングシステムにおけるセキュリティの弱さと脆弱性について
- Authors: Zhongzheng Lai, Huaming Chen, Ruoxi Sun, Yu Zhang, Minhui Xue, Dong Yuan,
- Abstract要約: 具体的には、ディープラーニング(DL)フレームワークについて検討し、DLシステムにおける脆弱性に関する最初の体系的な研究を行う。
各種データベースの脆弱性パターンを探索する2ストリームデータ分析フレームワークを提案する。
我々は,脆弱性のパターンと修正の課題をよりよく理解するために,3,049個のDL脆弱性を大規模に検討した。
- 参考スコア（独自算出の注目度）: 32.14068820256729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The security guarantee of AI-enabled software systems (particularly using deep learning techniques as a functional core) is pivotal against the adversarial attacks exploiting software vulnerabilities. However, little attention has been paid to a systematic investigation of vulnerabilities in such systems. A common situation learned from the open source software community is that deep learning engineers frequently integrate off-the-shelf or open-source learning frameworks into their ecosystems. In this work, we specifically look into deep learning (DL) framework and perform the first systematic study of vulnerabilities in DL systems through a comprehensive analysis of identified vulnerabilities from Common Vulnerabilities and Exposures (CVE) and open-source DL tools, including TensorFlow, Caffe, OpenCV, Keras, and PyTorch. We propose a two-stream data analysis framework to explore vulnerability patterns from various databases. We investigate the unique DL frameworks and libraries development ecosystems that appear to be decentralized and fragmented. By revisiting the Common Weakness Enumeration (CWE) List, which provides the traditional software vulnerability related practices, we observed that it is more challenging to detect and fix the vulnerabilities throughout the DL systems lifecycle. Moreover, we conducted a large-scale empirical study of 3,049 DL vulnerabilities to better understand the patterns of vulnerability and the challenges in fixing them. We have released the full replication package at https://github.com/codelzz/Vulnerabilities4DLSystem. We anticipate that our study can advance the development of secure DL systems.
- Abstract（参考訳）: AI対応ソフトウェアシステムのセキュリティ保証(特にディープラーニング技術を機能コアとして使用する)は、ソフトウェア脆弱性を悪用する敵対的攻撃に対して重要である。
しかし、このようなシステムの脆弱性の体系的な調査にはほとんど注意が払われていない。
オープンソースソフトウェアコミュニティから学んだ一般的な状況は、ディープラーニングのエンジニアが、オフザシェルフあるいはオープンソースの学習フレームワークを自分たちのエコシステムに統合することが多いことです。
本研究では、特にディープラーニング(DL)フレームワークを調べ、CVE(Common Vulnerabilities and Exposures)およびTensorFlow、Caffe、OpenCV、Keras、PyTorchといったオープンソースのDLツールから特定された脆弱性を包括的に分析することで、DLシステムの脆弱性を初めて体系的に研究する。
各種データベースの脆弱性パターンを探索する2ストリームデータ分析フレームワークを提案する。
分散化と断片化のように見える独自のDLフレームワークとライブラリ開発エコシステムについて検討する。
従来のソフトウェア脆弱性関連プラクティスを提供するCommon Weakness Enumeration (CWE) Listを再考することによって、DLシステムライフサイクル全体を通じて脆弱性を検出し、修正することがより困難であることが分かりました。
さらに,脆弱性のパターンや修正の課題をよりよく理解するために,大規模に3,049個のDL脆弱性について検討した。
私たちはhttps://github.com/codelzz/Vulnerabilities4DLSystemで完全なレプリケーションパッケージをリリースしました。
我々は,セキュアなDLシステムの開発を進展させることが期待できる。
関連論文リスト
- In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [97.82118821263825]
テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。
ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。
我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
論文 参考訳（メタデータ） (2024-11-25T04:17:24Z) - VulZoo: A Comprehensive Vulnerability Intelligence Dataset [12.229092589037808]
VulZooは17の人気の脆弱性情報ソースをカバーする、包括的な脆弱性インテリジェンスデータセットである。
VulZooを一般公開し、今後の研究を容易にするためにインクリメンタルアップデートでメンテナンスしています。
論文 参考訳（メタデータ） (2024-06-24T06:39:07Z) - Towards Effectively Detecting and Explaining Vulnerabilities Using Large Language Models [17.96542494363619]
大規模言語モデル(LLM)は、複雑なコンテキストを解釈する際、顕著な能力を示した。
本稿では,脆弱性の検出と説明の両面において,LSMの能力について検討する。
脆弱性説明のための特別な微調整の下で、LLMVulExpはコードの脆弱性の種類を検出するだけでなく、コードコンテキストを分析して原因、場所、修正提案を生成する。
論文 参考訳（メタデータ） (2024-06-14T04:01:25Z) - Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。
最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
論文 参考訳（メタデータ） (2024-05-21T13:34:23Z) - Causative Insights into Open Source Software Security using Large
Language Code Embeddings and Semantic Vulnerability Graph [3.623199159688412]
オープンソースソフトウェア(OSS)の脆弱性は、不正アクセス、データ漏洩、ネットワーク障害、プライバシー侵害を引き起こす可能性がある。
最近のディープラーニング技術は、ソースコードの脆弱性を特定し、ローカライズする上で大きな可能性を示しています。
本研究は,従来の方法に比べてコード修復能力が24%向上したことを示す。
論文 参考訳（メタデータ） (2024-01-13T10:33:22Z) - HW-V2W-Map: Hardware Vulnerability to Weakness Mapping Framework for
Root Cause Analysis with GPT-assisted Mitigation Suggestion [3.847218857469107]
HW-V2W-Map Frameworkは、ハードウェア脆弱性とIoT(Internet of Things)セキュリティに焦点を当てた機械学習(ML)フレームワークである。
私たちが提案したアーキテクチャには,オントロジーを更新するプロセスを自動化する,オントロジー駆動のストーリテリングフレームワークが組み込まれています。
提案手法は,GPT (Generative Pre-trained Transformer) Large Language Models (LLMs) を用いて緩和提案を行った。
論文 参考訳（メタデータ） (2023-12-21T02:14:41Z) - ThreatKG: An AI-Powered System for Automated Open-Source Cyber Threat Intelligence Gathering and Management [65.0114141380651]
ThreatKGはOSCTIの収集と管理のための自動化システムである。
複数のソースから多数のOSCTIレポートを効率的に収集する。
さまざまな脅威エンティティに関する高品質な知識を抽出するために、AIベースの専門技術を使用する。
論文 参考訳（メタデータ） (2022-12-20T16:13:59Z) - Security for Machine Learning-based Software Systems: a survey of
threats, practices and challenges [0.76146285961466]
機械学習ベースのモダンソフトウェアシステム(MLBSS)を安全に開発する方法は、依然として大きな課題である。
潜伏中の脆弱性と、外部のユーザーや攻撃者に暴露されるプライバシー問題は、ほとんど無視され、特定が難しい。
機械学習ベースのソフトウェアシステムのセキュリティは、固有のシステム欠陥や外敵攻撃から生じる可能性があると考えている。
論文 参考訳（メタデータ） (2022-01-12T23:20:25Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks,
and Defenses [150.64470864162556]
この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。
様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
論文 参考訳（メタデータ） (2020-12-18T22:38:47Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。