論文の概要: Quality issues in Machine Learning Software Systems
- arxiv url: http://arxiv.org/abs/2208.08982v2
- Date: Mon, 22 Aug 2022 17:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 10:33:34.785703
- Title: Quality issues in Machine Learning Software Systems
- Title(参考訳): 機械学習ソフトウェアシステムにおける品質問題
- Authors: Pierre-Olivier C\^ot\'e, Amin Nikanjam, Rached Bouchoucha, Foutse
Khomh
- Abstract要約: 本稿では,実践者の視点から,MLSSにおける実際の品質問題の特徴について考察する。
このステップで開発された問題のカタログは、後にMLSSの品質問題に対する重症度、根本原因、および治療の可能性を特定するのにも役立ちそうです。
- 参考スコア(独自算出の注目度): 12.655311590103238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: An increasing demand is observed in various domains to employ
Machine Learning (ML) for solving complex problems. ML models are implemented
as software components and deployed in Machine Learning Software Systems
(MLSSs). Problem: There is a strong need for ensuring the serving quality of
MLSSs. False or poor decisions of such systems can lead to malfunction of other
systems, significant financial losses, or even threat to human life. The
quality assurance of MLSSs is considered as a challenging task and currently is
a hot research topic. Moreover, it is important to cover all various aspects of
the quality in MLSSs. Objective: This paper aims to investigate the
characteristics of real quality issues in MLSSs from the viewpoint of
practitioners. This empirical study aims to identify a catalog of bad-practices
related to poor quality in MLSSs. Method: We plan to conduct a set of
interviews with practitioners/experts, believing that interviews are the best
method to retrieve their experience and practices when dealing with quality
issues. We expect that the catalog of issues developed at this step will also
help us later to identify the severity, root causes, and possible remedy for
quality issues of MLSSs, allowing us to develop efficient quality assurance
tools for ML models and MLSSs.
- Abstract(参考訳): コンテキスト: 複雑な問題を解決するために機械学習(ML)を採用するために、さまざまな領域で需要が高まっている。
MLモデルはソフトウェアコンポーネントとして実装され、機械学習ソフトウェアシステム(MLSS)にデプロイされる。
問題:MLSSのサービス品質を保証するためには,強いニーズがある。
このようなシステムの不正または劣悪な決定は、他のシステムの誤動作、重大な財政的損失、さらには人間の生命への脅威につながる可能性がある。
MLSSの品質保証は難しい課題と考えられており、現在ホットな研究トピックとなっている。
さらに,MLSSにおける品質の諸側面を網羅することが重要である。
目的:本稿は実践者の視点から,MLSSにおける実際の品質問題の特徴を考察することを目的とする。
この実証研究は、MLSSの質の低下に関連する悪い実践のカタログを特定することを目的としている。
方法: 実践者や専門家との一連のインタビューを実施し,品質問題に対処する上で,彼らの経験やプラクティスを取得するのにインタビューが最善の方法であると信じます。
このステップで開発された問題のカタログは、MLSSの品質問題に対する重大度、根本原因、および可能な対策の特定にも役立ち、MLモデルやMLSSの効率的な品質保証ツールの開発を可能にします。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Competition-Level Problems are Effective LLM Evaluators [124.7648712310141]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳(メタデータ) (2023-12-04T18:58:57Z) - When does In-context Learning Fall Short and Why? A Study on
Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。
ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。
我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文 参考訳(メタデータ) (2023-11-15T14:26:30Z) - Status Quo and Problems of Requirements Engineering for Machine
Learning: Results from an International Survey [7.164324501049983]
要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。
我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。
MLプロジェクトでは,REプラクティスに有意な違いが認められた。
論文 参考訳(メタデータ) (2023-10-10T15:53:50Z) - Towards Self-Adaptive Machine Learning-Enabled Systems Through QoS-Aware
Model Switching [1.2277343096128712]
本稿では,機械学習モデルバランサの概念を提案し,複数のモデルを用いてMLモデルに関連する不確実性を管理する。
AdaMLSは、この概念を活用し、従来のMAPE-Kループを拡張した新しい自己適応手法である。
予備的な結果は、AdaMLSが保証において、単純で単一の最先端モデルを上回ることを示唆している。
論文 参考訳(メタデータ) (2023-08-19T09:33:51Z) - A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。
本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文 参考訳(メタデータ) (2023-07-06T16:28:35Z) - Quality Issues in Machine Learning Software Systems [10.797981721308226]
機械学習ソフトウェアシステムの品質を保証するためには、強いニーズがある。
本稿では,実践者の視点から,MLSSにおける実際の品質問題の特徴について考察する。
18の繰り返し発生する品質問題と、それを緩和するための24の戦略を特定します。
論文 参考訳(メタデータ) (2023-06-26T18:46:46Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [83.90471827695625]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳(メタデータ) (2023-06-09T11:31:50Z) - Quality Assurance Challenges for Machine Learning Software Applications
During Software Development Life Cycle Phases [1.4213973379473654]
本稿では機械学習(ML)モデルの品質保証に関する文献の詳細なレビューを行う。
ソフトウェア開発ライフサイクル(SDLC)の異なる段階にまたがる様々なML導入課題をマッピングすることで、MLSA品質保証問題の分類法を開発する。
このマッピングは、MLモデルの採用が重要であると考えられるMLSAの品質保証の取り組みを優先するのに役立ちます。
論文 参考訳(メタデータ) (2021-05-03T22:29:23Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - Towards Guidelines for Assessing Qualities of Machine Learning Systems [1.715032913622871]
本稿では,産業利用事例に基づくMLシステムの品質モデルの構築について述べる。
将来的には、MLシステムの種類によって、品質という用語がどう違うかを学びたいと考えています。
論文 参考訳(メタデータ) (2020-08-25T13:45:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。