論文の概要: Industrial Practices of Requirements Engineering for ML-Enabled Systems in Brazil
- arxiv url: http://arxiv.org/abs/2407.18977v1
- Date: Mon, 22 Jul 2024 17:25:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 01:06:22.376217
- Title: Industrial Practices of Requirements Engineering for ML-Enabled Systems in Brazil
- Title（参考訳）: ブラジルにおけるML対応システムの要求工学の産業実践
- Authors: Antonio Pedro Santos Alves, Marcos Kalinowski, Daniel Mendez, Hugo Villamizar, Kelly Azevedo, Tatiana Escovedo, Helio Lopes,
- Abstract要約: ブラジルの企業の41%は、ある程度機械学習(ML)を使用している。
しかし、ML問題仕様の非現実的な顧客期待とあいまいさが報告されている。
本研究は,ブラジルにおけるML対応システム開発における要件工学の適用性を検討することを目的とする。
- 参考スコア（独自算出の注目度）: 0.9342717102482063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: [Context] In Brazil, 41% of companies use machine learning (ML) to some extent. However, several challenges have been reported when engineering ML-enabled systems, including unrealistic customer expectations and vagueness in ML problem specifications. Literature suggests that Requirements Engineering (RE) practices and tools may help to alleviate these issues, yet there is insufficient understanding of RE's practical application and its perception among practitioners. [Goal] This study aims to investigate the application of RE in developing ML-enabled systems in Brazil, creating an overview of current practices, perceptions, and problems in the Brazilian industry. [Method] To this end, we extracted and analyzed data from an international survey focused on ML-enabled systems, concentrating specifically on responses from practitioners based in Brazil. We analyzed RE-related answers gathered from 72 practitioners involved in data-driven projects. We conducted quantitative statistical analyses on contemporary practices using bootstrapping with confidence intervals and qualitative studies on the reported problems involving open and axial coding procedures. [Results] Our findings highlight distinct RE implementation aspects in Brazil's ML projects. For instance, (i) RE-related tasks are predominantly conducted by data scientists; (ii) the most common techniques for eliciting requirements are interviews and workshop meetings; (iii) there is a prevalence of interactive notebooks in requirements documentation; (iv) practitioners report problems that include a poor understanding of the problem to solve and the business domain, low customer engagement, and difficulties managing stakeholders expectations. [Conclusion] These results provide an understanding of RE-related practices in the Brazilian ML industry, helping to guide research toward improving the maturity of RE for ML-enabled systems.
- Abstract（参考訳）: [コンテキスト]ブラジルでは、企業の41%が機械学習(ML)をある程度使用しています。
しかしながら、ML対応システムのエンジニアリングにおいて、非現実的な顧客期待やML問題仕様の不明瞭さなど、いくつかの課題が報告されている。
文献によると、要求工学(RE)の実践とツールはこれらの問題を緩和するのに役立ちますが、REの実践的応用と実践者間の認識について十分な理解が得られていません。
[目標]本研究は,ブラジルにおけるML対応システム開発におけるREの適用について検討し,ブラジルの産業における現在の実践,認識,課題の概要を明らかにすることを目的とする。
[方法]ブラジルの実践者からの回答を中心に,ML対応システムに着目した国際調査からデータを抽出,分析した。
データ駆動プロジェクトに関わる72人の実践者から得られたRE関連回答を分析した。
信頼性区間を有するブートストレッピングを用いた現代的実践の定量的統計分析と,オープンおよび軸方向の符号化手順に関する報告された問題に関する質的研究を行った。
結果]ブラジルのMLプロジェクトにおけるRE実装の異なる側面に注目した。
例えば、
i)RE関連業務は,主にデータ科学者が行う。
(二 要件を提示する最も一般的な技術は、面接及びワークショップミーティングである。
三 要求書にインタラクティブなノートが混在していること。
(4)解決すべき問題やビジネス領域の理解不足、顧客エンゲージメントの低下、利害関係者の期待管理の難しさなどの問題を報告する。
[結論]これらの結果は、ブラジルのML産業におけるRE関連プラクティスの理解を提供し、ML対応システムにおけるREの成熟度向上に向けた研究の指針となる。
関連論文リスト
- Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳（メタデータ） (2024-06-19T00:28:58Z) - A Reality check of the benefits of LLM in business [1.9181612035055007]
大規模言語モデル(LLM)は、言語理解および生成タスクにおいて顕著なパフォーマンスを達成した。
ビジネスプロセスにおけるLCMの有用性と準備性について概説する。
論文 参考訳（メタデータ） (2024-06-09T02:36:00Z) - Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
機械学習(ML)対応システムは、企業によってますます採用されている。
本稿では,ML対応システムの現状を概観する。
論文 参考訳（メタデータ） (2024-05-20T06:59:20Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳（メタデータ） (2024-05-10T02:48:45Z) - Towards Generating Executable Metamorphic Relations Using Large Language Models [46.26208489175692]
大規模言語モデル(LLM)を用いた要件から実行可能なMRを自動的に抽出する手法を提案する。
提案手法の有効性を評価するため,シーメンス・インダストリー・ソフトウェアと共同で質問紙調査を行った。
論文 参考訳（メタデータ） (2024-01-30T13:52:47Z) - Advancing Requirements Engineering through Generative AI: Assessing the
Role of LLMs [10.241642683713467]
大規模言語モデル(LLM)は、自然言語処理、コード生成、プログラム理解など、さまざまな領域において大きな可能性を示している。
本章では、要件関連タスクの効率性と正確性の向上を目的とした、要件エンジニアリングプロセスの駆動におけるLLMの可能性について論じる。
論文 参考訳（メタデータ） (2023-10-21T11:29:31Z) - Status Quo and Problems of Requirements Engineering for Machine
Learning: Results from an International Survey [7.164324501049983]
要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。
我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。
MLプロジェクトでは,REプラクティスに有意な違いが認められた。
論文 参考訳（メタデータ） (2023-10-10T15:53:50Z) - Information Retrieval Meets Large Language Models: A Strategic Report
from Chinese IR Community [180.28262433004113]
大規模言語モデル(LLM)は、テキスト理解、生成、知識推論において例外的な能力を示した。
LLMと人間は、情報検索のためにより強力な新しい技術パラダイムを形成します。
LLMがIR研究に与える影響を徹底的に議論するため、中国のIRコミュニティは2023年4月に戦略的ワークショップを開催した。
論文 参考訳（メタデータ） (2023-07-19T05:23:43Z) - Just Tell Me: Prompt Engineering in Business Process Management [63.08166397142146]
GPT-3や他の言語モデル(LM)は、様々な自然言語処理(NLP)タスクに効果的に対処できる。
私たちは、迅速なエンジニアリングは、BPM研究にLMの能力をもたらすことができると論じています。
論文 参考訳（メタデータ） (2023-04-14T14:55:19Z) - Machine Learning Application Development: Practitioners' Insights [18.114724750441724]
MLアプリケーション開発の課題とベストプラクティスを理解することを目的とした調査について報告する。
80人の実践者から得られた結果を17の発見にまとめ、MLアプリケーション開発の課題とベストプラクティスを概説する。
報告された課題が、MLベースのアプリケーションのエンジニアリングプロセスと品質を改善するために調査すべきトピックについて、研究コミュニティに知らせてくれることを期待しています。
論文 参考訳（メタデータ） (2021-12-31T03:38:37Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。