論文の概要: Characterizing and Detecting Mismatch in Machine-Learning-Enabled
Systems
- arxiv url: http://arxiv.org/abs/2103.14101v1
- Date: Thu, 25 Mar 2021 19:40:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 03:06:44.544026
- Title: Characterizing and Detecting Mismatch in Machine-Learning-Enabled
Systems
- Title(参考訳): 機械学習システムにおけるミスマッチのキャラクタリゼーションと検出
- Authors: Grace A. Lewis, Stephany Bellomo, Ipek Ozkaya
- Abstract要約: 機械学習システムの開発と展開は依然として課題だ。
本論文では,エンドツーエンドのML対応システム開発における知見とその意義について報告する。
- 参考スコア(独自算出の注目度): 1.4695979686066065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Increasing availability of machine learning (ML) frameworks and tools, as
well as their promise to improve solutions to data-driven decision problems,
has resulted in popularity of using ML techniques in software systems. However,
end-to-end development of ML-enabled systems, as well as their seamless
deployment and operations, remain a challenge. One reason is that development
and deployment of ML-enabled systems involves three distinct workflows,
perspectives, and roles, which include data science, software engineering, and
operations. These three distinct perspectives, when misaligned due to incorrect
assumptions, cause ML mismatches which can result in failed systems. We
conducted an interview and survey study where we collected and validated common
types of mismatches that occur in end-to-end development of ML-enabled systems.
Our analysis shows that how each role prioritizes the importance of relevant
mismatches varies, potentially contributing to these mismatched assumptions. In
addition, the mismatch categories we identified can be specified as machine
readable descriptors contributing to improved ML-enabled system development. In
this paper, we report our findings and their implications for improving
end-to-end ML-enabled system development.
- Abstract(参考訳): 機械学習(ML)フレームワークとツールの可用性の向上と、データ駆動による意思決定問題に対するソリューション改善の約束により、ソフトウェアシステムでMLテクニックの使用が人気になった。
しかし、ML対応システムのエンドツーエンド開発と、シームレスなデプロイメントと運用は依然として課題である。
1つの理由は、ML対応システムの開発とデプロイには、データサイエンス、ソフトウェアエンジニアリング、オペレーションを含む3つの異なるワークフロー、視点、役割が含まれるからである。
これら3つの異なる視点は、誤った仮定のために一致しなかった場合、MLミスマッチを引き起こす。
そこで我々は,ML対応システムのエンドツーエンド開発において発生する一般的なミスマッチを収集し,検証した。
我々の分析は、各役割がどのように関連するミスマッチの重要性を優先するかが異なり、これらのミスマッチした仮定に寄与する可能性があることを示している。
さらに、私たちが特定したミスマッチカテゴリは、ML対応システム開発の改善に寄与するマシン可読記述子として指定することができる。
本稿では,エンド・ツー・エンドのML対応システム開発を改善するための知見とその意義について報告する。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Test & Evaluation Best Practices for Machine Learning-Enabled Systems [7.148282824413932]
機械学習(ML)ベースのソフトウェアシステムは、さまざまな領域で急速に普及している。
本報告では,ML対応ソフトウェアシステムのライフサイクル全体にわたるテスト・評価(T&E)のベストプラクティスについて述べる。
論文 参考訳(メタデータ) (2023-10-10T17:11:14Z) - Real-world Machine Learning Systems: A survey from a Data-Oriented
Architecture Perspective [7.574538335342942]
データ指向アーキテクチャ(DOA、Data-oriented Architecture)は、MLモデルを統合する上で、システムにより良いものを提供する新しい概念である。
DOAは、現在のアーキテクチャを拡張して、データ駆動、疎結合、分散化されたオープンシステムを作成する。
本稿では,MLベースのシステムの実環境展開を調査し,これらの疑問に答える。
論文 参考訳(メタデータ) (2023-02-09T17:57:02Z) - Understanding the Complexity and Its Impact on Testing in ML-Enabled
Systems [8.630445165405606]
世界中の企業で広く採用されている産業対話システムであるRasa 3.0について検討する。
私たちのゴールは、このような大規模なML対応システムの複雑さを特徴づけ、テストにおける複雑さの影響を理解することです。
本研究は,ML対応システムにおけるソフトウェア工学の実践的意義を明らかにする。
論文 参考訳(メタデータ) (2023-01-10T08:13:24Z) - MDE for Machine Learning-Enabled Software Systems: A Case Study and
Comparison of MontiAnna & ML-Quadrat [5.839906946900443]
我々は,モノのインターネット(IoT)分野に着目した機械学習対応ソフトウェアシステムの開発に,MDEパラダイムを採用することを提案する。
ケーススタディで実証されたように、最先端のオープンソースモデリングツールであるMontiAnnaとML-Quadratが、この目的のためにどのように使用できるかを説明します。
論文 参考訳(メタデータ) (2022-09-15T13:21:16Z) - Towards Perspective-Based Specification of Machine Learning-Enabled
Systems [1.3406258114080236]
本稿では、ML対応システムを特定するための視点に基づくアプローチに向けた取り組みについて述べる。
このアプローチでは、目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化された45のML関心事のセットを分析する。
本論文の主な貢献は、ML対応システムを特定するのに役立つ2つの新しいアーティファクトを提供することである。
論文 参考訳(メタデータ) (2022-06-20T13:09:23Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳(メタデータ) (2020-08-10T06:07:52Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。