論文の概要: Security for Machine Learning-based Software Systems: a survey of threats, practices and challenges

• arxiv url: http://arxiv.org/abs/2201.04736v2
• Date: Sun, 17 Dec 2023 23:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:51:30.237386
• Title: Security for Machine Learning-based Software Systems: a survey of threats, practices and challenges
• Title（参考訳）: 機械学習に基づくソフトウェアシステムのセキュリティ:脅威,プラクティス,課題に関する調査
• Authors: Huaming Chen, M. Ali Babar
• Abstract要約: 機械学習ベースのモダンソフトウェアシステム(MLBSS)を安全に開発する方法は、依然として大きな課題である。 潜伏中の脆弱性と、外部のユーザーや攻撃者に暴露されるプライバシー問題は、ほとんど無視され、特定が難しい。 機械学習ベースのソフトウェアシステムのセキュリティは、固有のシステム欠陥や外敵攻撃から生じる可能性があると考えている。
• 参考スコア（独自算出の注目度）: 0.76146285961466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of Machine Learning (ML) has demonstrated superior performance in many areas, such as computer vision, video and speech recognition. It has now been increasingly leveraged in software systems to automate the core tasks. However, how to securely develop the machine learning-based modern software systems (MLBSS) remains a big challenge, for which the insufficient consideration will largely limit its application in safety-critical domains. One concern is that the present MLBSS development tends to be rush, and the latent vulnerabilities and privacy issues exposed to external users and attackers will be largely neglected and hard to be identified. Additionally, machine learning-based software systems exhibit different liabilities towards novel vulnerabilities at different development stages from requirement analysis to system maintenance, due to its inherent limitations from the model and data and the external adversary capabilities. The successful generation of such intelligent systems will thus solicit dedicated efforts jointly from different research areas, i.e., software engineering, system security and machine learning. Most of the recent works regarding the security issues for ML have a strong focus on the data and models, which has brought adversarial attacks into consideration. In this work, we consider that security for machine learning-based software systems may arise from inherent system defects or external adversarial attacks, and the secure development practices should be taken throughout the whole lifecycle. While machine learning has become a new threat domain for existing software engineering practices, there is no such review work covering the topic. Overall, we present a holistic review regarding the security for MLBSS, which covers a systematic understanding from a structure review of three distinct aspects in terms of security threats...
• Abstract（参考訳）: 機械学習(ML)の急速な発展は、コンピュータビジョン、ビデオ、音声認識など、多くの分野で優れたパフォーマンスを示している。 今では、コアタスクを自動化するソフトウェアシステムでますます活用されている。 しかし、機械学習ベースのモダンソフトウェアシステム(MLBSS)をセキュアに開発する方法は依然として大きな課題であり、十分に考慮されていないため、安全クリティカルなドメインへの適用がほとんど制限される。 懸念の1つは、現在のMLBSS開発は急いでいる傾向にあり、外部ユーザやアタッカーに暴露される潜在的な脆弱性とプライバシ問題は、ほとんど無視され、特定が難しいことである。 さらに、機械学習ベースのソフトウェアシステムは、モデルとデータと外部の敵能力に固有の制限があるため、要件分析からシステムメンテナンスまで、開発段階の異なる新しい脆弱性に対する異なる負債を示す。 このようなインテリジェントなシステムの成功は、ソフトウェア工学、システムセキュリティ、機械学習など、さまざまな研究分野から、共同で専門的な取り組みを募ることになる。 mlのセキュリティ問題に関する最近の研究の多くは、データとモデルに強く焦点を合わせており、敵の攻撃が考慮されている。 本研究では,機械学習に基づくソフトウェアシステムのセキュリティは,システム固有の欠陥や外部の敵の攻撃から生じる可能性があり,ライフサイクル全体を通じてセキュアな開発プラクティスが採用されるべきであると考える。 機械学習は既存のソフトウェアエンジニアリングプラクティスの新たな脅威領域となっているが、そのトピックをカバーするレビュー作業は存在しない。 全体として、MLBSSのセキュリティに関する総合的なレビューを提示し、セキュリティの脅威という3つの異なる側面の構造的レビューから体系的な理解を網羅する。

関連論文リスト

• In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [97.82118821263825]
  テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。 ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。 我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-25T04:17:24Z)
• Threats, Attacks, and Defenses in Machine Unlearning: A Survey [14.03428437751312]
  マシン・アンラーニング(MU)は、Safe AIを達成する可能性から、最近かなりの注目を集めている。 この調査は、機械学習における脅威、攻撃、防衛に関する広範な研究のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-03-20T15:40:18Z)
• Secure Software Development: Issues and Challenges [0.0]
  生活のデジタル化は、人間の問題を解決し、生活の質を向上させることを証明する。 ハッカーたちは、無実の人々のデータを盗み、ID詐欺や詐欺など、そのほかの目的のために利用しようとしている。 セキュアなシステムソフトウェアの目的は、システムライフサイクルを実行することによって、そのようなエクスプロイトが決して起こらないようにすることです。
  論文  参考訳（メタデータ） (2023-11-18T09:44:48Z)
• Software Repositories and Machine Learning Research in Cyber Security [0.0]
  堅牢なサイバーセキュリティ防衛の統合は、ソフトウェア開発のあらゆる段階において不可欠になっている。 ソフトウェア要件プロセスにおけるこれらの初期段階の脆弱性の検出にトピックモデリングと機械学習を活用する試みが実施されている。
  論文  参考訳（メタデータ） (2023-11-01T17:46:07Z)
• Multi Agent System for Machine Learning Under Uncertainty in Cyber Physical Manufacturing System [78.60415450507706]
  近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。 ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。 本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
  論文  参考訳（メタデータ） (2021-07-28T10:28:05Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Security and Machine Learning in the Real World [33.40597438876848]
  私たちは、大規模にデプロイされた機械学習ソフトウェア製品のセキュリティを評価し、システムのセキュリティビューを含む会話を広げるために、私たちの経験に基づいています。 本稿では,機械学習モジュールをデプロイする実践者がシステムを保護するために使用できる,短期的な緩和提案のリストを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:57:12Z)
• Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain [58.30296637276011]
  本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。 サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-07-05T18:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。