論文の概要: Industrial Practices of Requirements Engineering for ML-Enabled Systems in Brazil
- arxiv url: http://arxiv.org/abs/2407.18977v1
- Date: Mon, 22 Jul 2024 17:25:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 01:06:22.376217
- Title: Industrial Practices of Requirements Engineering for ML-Enabled Systems in Brazil
- Title（参考訳）: ブラジルにおけるML対応システムの要求工学の産業実践
- Authors: Antonio Pedro Santos Alves, Marcos Kalinowski, Daniel Mendez, Hugo Villamizar, Kelly Azevedo, Tatiana Escovedo, Helio Lopes,
- Abstract要約: ブラジルの企業の41%は、ある程度機械学習(ML)を使用している。
しかし、ML問題仕様の非現実的な顧客期待とあいまいさが報告されている。
本研究は,ブラジルにおけるML対応システム開発における要件工学の適用性を検討することを目的とする。
- 参考スコア（独自算出の注目度）: 0.9342717102482063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: [Context] In Brazil, 41% of companies use machine learning (ML) to some extent. However, several challenges have been reported when engineering ML-enabled systems, including unrealistic customer expectations and vagueness in ML problem specifications. Literature suggests that Requirements Engineering (RE) practices and tools may help to alleviate these issues, yet there is insufficient understanding of RE's practical application and its perception among practitioners. [Goal] This study aims to investigate the application of RE in developing ML-enabled systems in Brazil, creating an overview of current practices, perceptions, and problems in the Brazilian industry. [Method] To this end, we extracted and analyzed data from an international survey focused on ML-enabled systems, concentrating specifically on responses from practitioners based in Brazil. We analyzed RE-related answers gathered from 72 practitioners involved in data-driven projects. We conducted quantitative statistical analyses on contemporary practices using bootstrapping with confidence intervals and qualitative studies on the reported problems involving open and axial coding procedures. [Results] Our findings highlight distinct RE implementation aspects in Brazil's ML projects. For instance, (i) RE-related tasks are predominantly conducted by data scientists; (ii) the most common techniques for eliciting requirements are interviews and workshop meetings; (iii) there is a prevalence of interactive notebooks in requirements documentation; (iv) practitioners report problems that include a poor understanding of the problem to solve and the business domain, low customer engagement, and difficulties managing stakeholders expectations. [Conclusion] These results provide an understanding of RE-related practices in the Brazilian ML industry, helping to guide research toward improving the maturity of RE for ML-enabled systems.
- Abstract（参考訳）: [コンテキスト]ブラジルでは、企業の41%が機械学習(ML)をある程度使用しています。
しかしながら、ML対応システムのエンジニアリングにおいて、非現実的な顧客期待やML問題仕様の不明瞭さなど、いくつかの課題が報告されている。
文献によると、要求工学(RE)の実践とツールはこれらの問題を緩和するのに役立ちますが、REの実践的応用と実践者間の認識について十分な理解が得られていません。
[目標]本研究は,ブラジルにおけるML対応システム開発におけるREの適用について検討し,ブラジルの産業における現在の実践,認識,課題の概要を明らかにすることを目的とする。
[方法]ブラジルの実践者からの回答を中心に,ML対応システムに着目した国際調査からデータを抽出,分析した。
データ駆動プロジェクトに関わる72人の実践者から得られたRE関連回答を分析した。
信頼性区間を有するブートストレッピングを用いた現代的実践の定量的統計分析と,オープンおよび軸方向の符号化手順に関する報告された問題に関する質的研究を行った。
結果]ブラジルのMLプロジェクトにおけるRE実装の異なる側面に注目した。
例えば、
i)RE関連業務は,主にデータ科学者が行う。
(二 要件を提示する最も一般的な技術は、面接及びワークショップミーティングである。
三 要求書にインタラクティブなノートが混在していること。
(4)解決すべき問題やビジネス領域の理解不足、顧客エンゲージメントの低下、利害関係者の期待管理の難しさなどの問題を報告する。
[結論]これらの結果は、ブラジルのML産業におけるRE関連プラクティスの理解を提供し、ML対応システムにおけるREの成熟度向上に向けた研究の指針となる。
関連論文リスト
- Gaps Between Research and Practice When Measuring Representational Harms Caused by LLM-Based Systems [88.35461485731162]
本研究は,実践者が表現障害を測定するために,公開されている器具を効果的に使用するのを防ぐための4種類の課題を同定する。
我々のゴールは、実践者のニーズに適した表現的害を測定するための機器の開発を進めることである。
論文 参考訳（メタデータ） (2024-11-23T22:13:38Z) - Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - EEE-Bench: A Comprehensive Multimodal Electrical And Electronics Engineering Benchmark [10.265704144939503]
大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、科学や数学など様々な分野で有望なスキルを実証している。
実用工学的課題の解決におけるLMMの能力評価を目的としたマルチモーダルベンチマークであるEEE-Benchを提案する。
我々のベンチマークは、アナログ回路や制御システムなど10の必須課題にまたがる2860の慎重に計算された問題からなる。
論文 参考訳（メタデータ） (2024-11-03T09:17:56Z) - Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。
提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。
実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2024-10-30T17:35:44Z) - A Reality check of the benefits of LLM in business [1.9181612035055007]
大規模言語モデル(LLM)は、言語理解および生成タスクにおいて顕著なパフォーマンスを達成した。
ビジネスプロセスにおけるLCMの有用性と準備性について概説する。
論文 参考訳（メタデータ） (2024-06-09T02:36:00Z) - Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
機械学習(ML)対応システムは、企業によってますます採用されている。
本稿では,ML対応システムの現状を概観する。
論文 参考訳（メタデータ） (2024-05-20T06:59:20Z) - Towards Generating Executable Metamorphic Relations Using Large Language Models [46.26208489175692]
大規模言語モデル(LLM)を用いた要件から実行可能なMRを自動的に抽出する手法を提案する。
提案手法の有効性を評価するため,シーメンス・インダストリー・ソフトウェアと共同で質問紙調査を行った。
論文 参考訳（メタデータ） (2024-01-30T13:52:47Z) - Status Quo and Problems of Requirements Engineering for Machine
Learning: Results from an International Survey [7.164324501049983]
要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。
我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。
MLプロジェクトでは,REプラクティスに有意な違いが認められた。
論文 参考訳（メタデータ） (2023-10-10T15:53:50Z) - Information Retrieval Meets Large Language Models: A Strategic Report
from Chinese IR Community [180.28262433004113]
大規模言語モデル(LLM)は、テキスト理解、生成、知識推論において例外的な能力を示した。
LLMと人間は、情報検索のためにより強力な新しい技術パラダイムを形成します。
LLMがIR研究に与える影響を徹底的に議論するため、中国のIRコミュニティは2023年4月に戦略的ワークショップを開催した。
論文 参考訳（メタデータ） (2023-07-19T05:23:43Z) - Machine Learning Application Development: Practitioners' Insights [18.114724750441724]
MLアプリケーション開発の課題とベストプラクティスを理解することを目的とした調査について報告する。
80人の実践者から得られた結果を17の発見にまとめ、MLアプリケーション開発の課題とベストプラクティスを概説する。
報告された課題が、MLベースのアプリケーションのエンジニアリングプロセスと品質を改善するために調査すべきトピックについて、研究コミュニティに知らせてくれることを期待しています。
論文 参考訳（メタデータ） (2021-12-31T03:38:37Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。