論文の概要: Status Quo and Problems of Requirements Engineering for Machine Learning: Results from an International Survey

• arxiv url: http://arxiv.org/abs/2310.06726v1
• Date: Tue, 10 Oct 2023 15:53:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 03:32:51.977327
• Title: Status Quo and Problems of Requirements Engineering for Machine Learning: Results from an International Survey
• Title（参考訳）: 機械学習における要件工学の現状と課題:国際サーベイの結果から
• Authors: Antonio Pedro Santos Alves, Marcos Kalinowski, G\"orkem Giray, Daniel Mendez, Niklas Lavesson, Kelly Azevedo, Hugo Villamizar, Tatiana Escovedo, Helio Lopes, Stefan Biffl, J\"urgen Musil, Michael Felderer, Stefan Wagner, Teresa Baldassarre, Tony Gorschek
• Abstract要約: 要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。 我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。 MLプロジェクトでは,REプラクティスに有意な違いが認められた。
• 参考スコア（独自算出の注目度）: 7.164324501049983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Systems that use Machine Learning (ML) have become commonplace for companies that want to improve their products and processes. Literature suggests that Requirements Engineering (RE) can help address many problems when engineering ML-enabled systems. However, the state of empirical evidence on how RE is applied in practice in the context of ML-enabled systems is mainly dominated by isolated case studies with limited generalizability. We conducted an international survey to gather practitioner insights into the status quo and problems of RE in ML-enabled systems. We gathered 188 complete responses from 25 countries. We conducted quantitative statistical analyses on contemporary practices using bootstrapping with confidence intervals and qualitative analyses on the reported problems involving open and axial coding procedures. We found significant differences in RE practices within ML projects. For instance, (i) RE-related activities are mostly conducted by project leaders and data scientists, (ii) the prevalent requirements documentation format concerns interactive Notebooks, (iii) the main focus of non-functional requirements includes data quality, model reliability, and model explainability, and (iv) main challenges include managing customer expectations and aligning requirements with data. The qualitative analyses revealed that practitioners face problems related to lack of business domain understanding, unclear goals and requirements, low customer engagement, and communication issues. These results help to provide a better understanding of the adopted practices and of which problems exist in practical environments. We put forward the need to adapt further and disseminate RE-related practices for engineering ML-enabled systems.
• Abstract（参考訳）: 機械学習(ML)を使用するシステムは、製品やプロセスを改善したい企業にとって一般的になっています。 文献によると、Requirements Engineering(RE)はML対応システムにおいて多くの問題を解決するのに役立つ。 しかしながら、ml対応システムで実際にreがどのように適用されるかに関する実証的な証拠は、主に限定的な一般化可能性を持つ孤立したケーススタディに支配されている。 ml対応システムにおけるreの現状と問題点に関する実践的洞察を集めるために,国際調査を実施した。 25カ国から188件の回答を集めた。 信頼性区間を有するブートストラップを用いた現代的実践の定量的統計分析と,オープンおよび軸方向の符号化手順に関する報告された問題点の質的分析を行った。 MLプロジェクトでは,REプラクティスに大きな違いが見られた。 例えば、 (i)RE関連の活動は、主にプロジェクトリーダーやデータサイエンティストが行う。 (ii) 対話型ノートブックに関する一般的な要件文書形式。 (iii)非機能要件の主な焦点は、データ品質、モデル信頼性、モデル説明可能性等である。 (iv)主な課題は、顧客の期待を管理し、要求をデータと整合させることである。 質的な分析の結果、実践者はビジネスドメイン理解の欠如、明確な目標と要求、顧客のエンゲージメントの低下、コミュニケーションの問題に直面することが明らかとなった。 これらの結果は、採用されているプラクティスと、実際の環境に存在する問題をよりよく理解するのに役立ちます。 我々は、さらに適応し、エンジニアリングML対応システムにRE関連のプラクティスを広める必要性を推し進めた。

関連論文リスト

• Industrial Practices of Requirements Engineering for ML-Enabled Systems in Brazil [0.9342717102482063]
  ブラジルの企業の41%は、ある程度機械学習(ML)を使用している。 しかし、ML問題仕様の非現実的な顧客期待とあいまいさが報告されている。 本研究は,ブラジルにおけるML対応システム開発における要件工学の適用性を検討することを目的とする。
  論文  参考訳（メタデータ） (2024-07-22T17:25:27Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
  機械学習(ML)対応システムは、企業によってますます採用されている。 本稿では,ML対応システムの現状を概観する。
  論文  参考訳（メタデータ） (2024-05-20T06:59:20Z)
• ML-Enabled Systems Model Deployment and Monitoring: Status Quo and Problems [7.280443300122617]
  我々は、ML対応システムのエンジニアリング方法に関する実践的洞察を集めるために、国際調査を実施した。 モデル配置および監視段階における現状と問題点を解析した。 私たちの結果は、実践において採用されているプラクティスや問題をより深く理解する上で役立ちます。
  論文  参考訳（メタデータ） (2024-02-08T00:25:30Z)
• Advancing Requirements Engineering through Generative AI: Assessing the Role of LLMs [10.241642683713467]
  大規模言語モデル(LLM)は、自然言語処理、コード生成、プログラム理解など、さまざまな領域において大きな可能性を示している。 本章では、要件関連タスクの効率性と正確性の向上を目的とした、要件エンジニアリングプロセスの駆動におけるLLMの可能性について論じる。
  論文  参考訳（メタデータ） (2023-10-21T11:29:31Z)
• Machine Learning Application Development: Practitioners' Insights [18.114724750441724]
  MLアプリケーション開発の課題とベストプラクティスを理解することを目的とした調査について報告する。 80人の実践者から得られた結果を17の発見にまとめ、MLアプリケーション開発の課題とベストプラクティスを概説する。 報告された課題が、MLベースのアプリケーションのエンジニアリングプロセスと品質を改善するために調査すべきトピックについて、研究コミュニティに知らせてくれることを期待しています。
  論文  参考訳（メタデータ） (2021-12-31T03:38:37Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)
• Towards CRISP-ML(Q): A Machine Learning Process Model with Quality Assurance Methodology [53.063411515511056]
  本稿では,機械学習アプリケーション開発のためのプロセスモデルを提案する。 第1フェーズでは、データの可用性がプロジェクトの実現可能性に影響を与えることが多いため、ビジネスとデータの理解が結合されます。 第6フェーズでは、機械学習アプリケーションの監視とメンテナンスに関する最先端のアプローチがカバーされている。
  論文  参考訳（メタデータ） (2020-03-11T08:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。