論文の概要: Towards a Robust and Trustworthy Machine Learning System Development
- arxiv url: http://arxiv.org/abs/2101.03042v1
- Date: Fri, 8 Jan 2021 14:43:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 05:01:08.486176
- Title: Towards a Robust and Trustworthy Machine Learning System Development
- Title（参考訳）: ロバストで信頼できる機械学習システムの開発に向けて
- Authors: Pulei Xiong, Scott Buffett, Shahrear Iqbal, Philippe Lamontagne,
Mohammad Mamun, and Heather Molyneaux
- Abstract要約: 最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。
次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。
本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
- 参考スコア（独自算出の注目度）: 0.09236074230806578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) technologies have been widely adopted in many mission
critical fields, such as cyber security, autonomous vehicle control,
healthcare, etc. to support intelligent decision-making. While ML has
demonstrated impressive performance over conventional methods in these
applications, concerns arose with respect to system resilience against
ML-specific security attacks and privacy breaches as well as the trust that
users have in these systems. In this article, firstly we present our recent
systematic and comprehensive survey on the state-of-the-art ML robustness and
trustworthiness technologies from a security engineering perspective, which
covers all aspects of secure ML system development including threat modeling,
common offensive and defensive technologies, privacy-preserving machine
learning, user trust in the context of machine learning, and empirical
evaluation for ML model robustness. Secondly, we then push our studies forward
above and beyond a survey by describing a metamodel we created that represents
the body of knowledge in a standard and visualized way for ML practitioners. We
further illustrate how to leverage the metamodel to guide a systematic threat
analysis and security design process in a context of generic ML system
development, which extends and scales up the classic process. Thirdly, we
propose future research directions motivated by our findings to advance the
development of robust and trustworthy ML systems. Our work differs from
existing surveys in this area in that, to the best of our knowledge, it is the
first of its kind of engineering effort to (i) explore the fundamental
principles and best practices to support robust and trustworthy ML system
development; and (ii) study the interplay of robustness and user trust in the
context of ML systems.
- Abstract（参考訳）: 機械学習(ML)技術は、サイバーセキュリティ、自動運転車の制御、ヘルスケアなど、多くのミッションクリティカルな分野に広く採用されている。
知的意思決定を支援する。
mlは、これらのアプリケーションにおける従来の方法よりも優れた性能を示しているが、ml固有のセキュリティ攻撃やプライバシ侵害に対するシステムのレジリエンスや、ユーザがこれらのシステムで持っている信頼に関する懸念が生じた。
本稿では、脅威モデリング、一般的な攻撃および防御技術、プライバシ保存機械学習、マシンラーニングのコンテキストにおけるユーザ信頼、MLモデルの堅牢性に関する経験的評価を含む、セキュアなMLシステム開発の全側面を網羅する、セキュリティエンジニアリングの観点から、最先端のML堅牢性と信頼性技術に関する最近の体系的かつ包括的な調査を紹介する。
次に、私たちは、ML実践者のための標準的で視覚化された方法で知識の体系を表すメタモデルを記述することで、調査を上向きに進めます。
さらに,古典的プロセスを拡張・スケールアップする汎用mlシステム開発の文脈において,組織的脅威分析とセキュリティ設計プロセスを導くためにメタモデルを活用する方法について説明する。
第3に,より堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
私たちの研究は、この分野の既存の調査と異なり、私たちの知る限り、(i)堅牢で信頼性の高いMLシステム開発をサポートするための基本的な原則とベストプラクティスを探求する、そして(ii)堅牢性とユーザ信頼の相互関係を、MLシステムのコンテキストで研究する、そのタイプのエンジニアリング活動の最初のものです。
関連論文リスト
- Towards Trustworthy Machine Learning in Production: An Overview of the Robustness in MLOps Approach [0.0]
近年、AI研究者や実践家は、信頼性と信頼性のある意思決定を行うシステムを構築するための原則とガイドラインを導入している。
実際には、システムが運用され、実際の環境で継続的に進化し、運用するためにデプロイされる必要がある場合に、根本的な課題が発生する。
この課題に対処するため、MLOps(Machine Learning Operations)は、デプロイメントにおけるMLソリューションを標準化するための潜在的なレシピとして登場した。
論文 参考訳（メタデータ） (2024-10-28T09:34:08Z) - Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。
LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。
適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文 参考訳（メタデータ） (2023-11-28T03:13:09Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳（メタデータ） (2023-08-30T03:29:26Z) - Machine Learning with Confidential Computing: A Systematization of Knowledge [9.632031075287047]
機械学習(ML)におけるプライバシとセキュリティの課題は、MLの広範な開発と、最近の大規模な攻撃面のデモとともに、ますます深刻になっている。
成熟したシステム指向のアプローチとして、Confidential Computingは、さまざまなMLシナリオにおけるプライバシとセキュリティの問題を軽減するために、学術と産業の両方で使用されている。
機密性保証とii)整合性保証を提供する機密コンピューティング支援ML技術に関する先行研究を体系化し、それらの高度な特徴と欠点について論じる。
論文 参考訳（メタデータ） (2022-08-22T08:23:53Z) - SoK: Machine Learning Governance [16.36671448193025]
このような利益とリスクのバランスをとるため、MLガバナンスの概念を開発します。
私たちは、MLシステムの障害の原因となるプリンシパルを保持するためにアイデンティティを使用します。
私たちは、モデルオーナーがシステムのライフサイクルを管理することができる技術の必要性を強調します。
論文 参考訳（メタデータ） (2021-09-20T17:56:22Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳（メタデータ） (2021-07-28T10:28:05Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳（メタデータ） (2021-01-11T15:54:48Z) - Robust Machine Learning Systems: Challenges, Current Trends,
Perspectives, and the Road Ahead [24.60052335548398]
機械学習(ML)技術は、スマートサイバーフィジカルシステム(CPS)とIoT(Internet-of-Things)によって急速に採用されています。
ハードウェアとソフトウェアの両方のレベルで、さまざまなセキュリティと信頼性の脅威に脆弱であり、その正確性を損ないます。
本稿では、現代のMLシステムの顕著な脆弱性を要約し、これらの脆弱性に対する防御と緩和技術の成功を強調する。
論文 参考訳（メタデータ） (2021-01-04T20:06:56Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z) - Security and Machine Learning in the Real World [33.40597438876848]
私たちは、大規模にデプロイされた機械学習ソフトウェア製品のセキュリティを評価し、システムのセキュリティビューを含む会話を広げるために、私たちの経験に基づいています。
本稿では,機械学習モジュールをデプロイする実践者がシステムを保護するために使用できる,短期的な緩和提案のリストを提案する。
論文 参考訳（メタデータ） (2020-07-13T16:57:12Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。