論文の概要: Quality Assurance Challenges for Machine Learning Software Applications
During Software Development Life Cycle Phases
- arxiv url: http://arxiv.org/abs/2105.01195v1
- Date: Mon, 3 May 2021 22:29:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-05 23:33:16.196182
- Title: Quality Assurance Challenges for Machine Learning Software Applications
During Software Development Life Cycle Phases
- Title(参考訳): ソフトウェア開発ライフサイクルフェーズにおける機械学習ソフトウェアアプリケーションの品質保証課題
- Authors: Md Abdullah Al Alamin, Gias Uddin
- Abstract要約: 本稿では機械学習(ML)モデルの品質保証に関する文献の詳細なレビューを行う。
ソフトウェア開発ライフサイクル(SDLC)の異なる段階にまたがる様々なML導入課題をマッピングすることで、MLSA品質保証問題の分類法を開発する。
このマッピングは、MLモデルの採用が重要であると考えられるMLSAの品質保証の取り組みを優先するのに役立ちます。
- 参考スコア(独自算出の注目度): 1.4213973379473654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past decades, the revolutionary advances of Machine Learning (ML) have
shown a rapid adoption of ML models into software systems of diverse types.
Such Machine Learning Software Applications (MLSAs) are gaining importance in
our daily lives. As such, the Quality Assurance (QA) of MLSAs is of paramount
importance. Several research efforts are dedicated to determining the specific
challenges we can face while adopting ML models into software systems. However,
we are aware of no research that offered a holistic view of the distribution of
those ML quality assurance challenges across the various phases of software
development life cycles (SDLC). This paper conducts an in-depth literature
review of a large volume of research papers that focused on the quality
assurance of ML models. We developed a taxonomy of MLSA quality assurance
issues by mapping the various ML adoption challenges across different phases of
SDLC. We provide recommendations and research opportunities to improve SDLC
practices based on the taxonomy. This mapping can help prioritize quality
assurance efforts of MLSAs where the adoption of ML models can be considered
crucial.
- Abstract(参考訳): 過去数十年間、機械学習(ML)の革命的な進歩は、さまざまなタイプのソフトウェアシステムにMLモデルが急速に採用されていることを示している。
このような機械学習ソフトウェアアプリケーション(MLSA)は、私たちの日常生活において重要になっています。
そのため、MLSAの品質保証(QA)が最重要事項である。
いくつかの研究努力は、ソフトウェアシステムにMLモデルを採用する際に直面する具体的な課題を決定することに集中しています。
しかし、ソフトウェア開発ライフサイクル(SDLC)の様々な段階において、これらのML品質保証課題の分布に関する全体像を提示する研究は、全く知られていない。
本稿では,MLモデルの品質保証に着目した大量の研究論文について,詳細な文献レビューを行う。
SDLCの様々な段階にわたるML導入課題をマッピングし,MLSA品質保証問題の分類法を開発した。
分類に基づくSDLCの実践を改善するための勧告と研究の機会を提供する。
このマッピングは、mlモデルの採用が重要であると考えられるmlsasの品質保証作業の優先順位付けに役立つ。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - SWITCH: An Exemplar for Evaluating Self-Adaptive ML-Enabled Systems [1.2277343096128712]
QoS(Quality of Service)の維持にはMLS(Machine Learning-Enabled Systems)が不可欠である
機械学習モデルバランサ(Machine Learning Model Balancer)は、動的MLモデルの切り替えを容易にすることで、これらの不確実性に対処する概念である。
本稿では,このようなシステムにおける自己適応能力を高めるために開発されたSWITCHを紹介する。
論文 参考訳(メタデータ) (2024-02-09T11:56:44Z) - Towards Self-Adaptive Machine Learning-Enabled Systems Through QoS-Aware
Model Switching [1.2277343096128712]
本稿では,機械学習モデルバランサの概念を提案し,複数のモデルを用いてMLモデルに関連する不確実性を管理する。
AdaMLSは、この概念を活用し、従来のMAPE-Kループを拡張した新しい自己適応手法である。
予備的な結果は、AdaMLSが保証において、単純で単一の最先端モデルを上回ることを示唆している。
論文 参考訳(メタデータ) (2023-08-19T09:33:51Z) - Quality Issues in Machine Learning Software Systems [10.797981721308226]
機械学習ソフトウェアシステムの品質を保証するためには、強いニーズがある。
本稿では,実践者の視点から,MLSSにおける実際の品質問題の特徴について考察する。
18の繰り返し発生する品質問題と、それを緩和するための24の戦略を特定します。
論文 参考訳(メタデータ) (2023-06-26T18:46:46Z) - Machine Learning for Software Engineering: A Tertiary Study [13.832268599253412]
機械学習(ML)技術は、ソフトウェアエンジニアリング(SE)ライフサイクルアクティビティの有効性を高める。
2009~2022年に発行されたML for SEで, 体系的, 品質評価, 要約, 分類を行い, 初等研究6,117件について検討した。
MLに最も取り組まれているSE領域は、ソフトウェアの品質とテストである。
論文 参考訳(メタデータ) (2022-11-17T09:19:53Z) - Quality issues in Machine Learning Software Systems [12.655311590103238]
本稿では,実践者の視点から,MLSSにおける実際の品質問題の特徴について考察する。
このステップで開発された問題のカタログは、後にMLSSの品質問題に対する重症度、根本原因、および治療の可能性を特定するのにも役立ちそうです。
論文 参考訳(メタデータ) (2022-08-18T17:55:18Z) - LightAutoML: AutoML Solution for a Large Financial Services Ecosystem [108.09104876115428]
本稿では、ヨーロッパ大手金融サービス会社向けに開発されたLightAutoMLと呼ばれるAutoMLシステムについて述べる。
当社のフレームワークは、多数のアプリケーションに試験的にデプロイされ、経験豊富なデータサイエンティストのレベルで実行されました。
論文 参考訳(メタデータ) (2021-09-03T13:52:32Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳(メタデータ) (2021-08-17T17:44:38Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。