論文の概要: More Engineering, No Silos: Rethinking Processes and Interfaces in
Collaboration between Interdisciplinary Teams for Machine Learning Projects
- arxiv url: http://arxiv.org/abs/2110.10234v1
- Date: Tue, 19 Oct 2021 20:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-24 09:32:11.766415
- Title: More Engineering, No Silos: Rethinking Processes and Interfaces in
Collaboration between Interdisciplinary Teams for Machine Learning Projects
- Title(参考訳): エンジニアリングとサイロ: 機械学習プロジェクトのための学際チーム間のコラボレーションにおけるプロセスとインターフェースの再考
- Authors: Nadia Nahar, Shurui Zhou, Grace Lewis, Christian K\"astner
- Abstract要約: 私たちは、機械学習システムを本番環境に構築、デプロイする際にチームが直面する重要なコラボレーションの課題を特定します。
我々は、要求、データ、統合のためのプロダクションMLシステムの開発における共通のコラボレーションポイントと、対応するチームパターンと課題について報告する。
- 参考スコア(独自算出の注目度): 4.482886054198202
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The introduction of machine learning (ML) components in software projects has
created the need for software engineers to collaborate with data scientists and
other specialists. While collaboration can always be challenging, ML introduces
additional challenges with its exploratory model development process,
additional skills and knowledge needed, difficulties testing ML systems, need
for continuous evolution and monitoring, and non-traditional quality
requirements such as fairness and explainability. Through interviews with 45
practitioners from 28 organizations, we identified key collaboration challenges
that teams face when building and deploying ML systems into production. We
report on common collaboration points in the development of production ML
systems for requirements, data, and integration, as well as corresponding team
patterns and challenges. We find that most of these challenges center around
communication, documentation, engineering, and process and collect
recommendations to address these challenges.
- Abstract(参考訳): ソフトウェアプロジェクトにおける機械学習(ML)コンポーネントの導入は、ソフトウェアエンジニアがデータサイエンティストや他の専門家と協力する必要性を生み出した。
コラボレーションは常に困難だが、MLは探索的モデル開発プロセス、必要なスキルと知識の追加、MLシステムのテストの難しさ、継続的な進化と監視の必要性、公正さや説明可能性といった非伝統的な品質要件によって、さらなる課題を導入している。
28の組織から45人の実践者とのインタビューを通じて、本番環境へのmlシステムの構築とデプロイにおいてチームが直面する重要なコラボレーションの課題を特定しました。
要件,データ,統合のための運用mlシステムの開発において共通するコラボレーションポイントと,それに対応するチームのパターンや課題について報告する。
これらの課題のほとんどはコミュニケーション、ドキュメンテーション、エンジニアリング、プロセスに集中しており、これらの課題に対処するためのレコメンデーションを集めている。
関連論文リスト
- Towards Effective Collaboration between Software Engineers and Data Scientists developing Machine Learning-Enabled Systems [1.1153433121962064]
機械学習(ML)対応システムの開発には、いくつかの社会的および技術的な課題が含まれている。
本稿は,これらのシステム構築における2つの重要なアクター – ソフトウェアエンジニアとデータサイエンティスト – のコラボレーションを強化する方法を理解することを目的としている。
我々の研究は、これらのアクター間のコラボレーションが、ML対応システムを効果的に開発する上で重要であることを発見した。
論文 参考訳(メタデータ) (2024-07-22T17:35:18Z) - On the Interaction between Software Engineers and Data Scientists when
building Machine Learning-Enabled Systems [1.2184324428571227]
機械学習(ML)コンポーネントは、組織のコアシステムにますます統合されています。
重要な課題の1つは、緊密に連携する必要がある異なるバックグラウンドを持つアクター間の効果的な相互作用である。
本稿では,MLプロジェクトにおけるこれらの役割間の相互作用と協調のダイナミクスを理解するための探索ケーススタディを提案する。
論文 参考訳(メタデータ) (2024-02-08T00:27:56Z) - Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳(メタデータ) (2023-12-04T18:58:57Z) - An Exploratory Study of V-Model in Building ML-Enabled Software: A Systems Engineering Perspective [0.7252027234425334]
機械学習(ML)コンポーネントは、ますます重要で影響力のあるソフトウェアシステムに追加されている。
本研究は,ML対応システム構築における学際的コラボレーション課題へのV-Modelの適用について検討する。
論文 参考訳(メタデータ) (2023-08-10T06:53:32Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳(メタデータ) (2022-03-06T10:12:56Z) - Machine Learning Application Development: Practitioners' Insights [18.114724750441724]
MLアプリケーション開発の課題とベストプラクティスを理解することを目的とした調査について報告する。
80人の実践者から得られた結果を17の発見にまとめ、MLアプリケーション開発の課題とベストプラクティスを概説する。
報告された課題が、MLベースのアプリケーションのエンジニアリングプロセスと品質を改善するために調査すべきトピックについて、研究コミュニティに知らせてくれることを期待しています。
論文 参考訳(メタデータ) (2021-12-31T03:38:37Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z) - Towards CRISP-ML(Q): A Machine Learning Process Model with Quality
Assurance Methodology [53.063411515511056]
本稿では,機械学習アプリケーション開発のためのプロセスモデルを提案する。
第1フェーズでは、データの可用性がプロジェクトの実現可能性に影響を与えることが多いため、ビジネスとデータの理解が結合されます。
第6フェーズでは、機械学習アプリケーションの監視とメンテナンスに関する最先端のアプローチがカバーされている。
論文 参考訳(メタデータ) (2020-03-11T08:25:49Z) - Engineering AI Systems: A Research Agenda [9.84673609667263]
私たちは、企業が機械学習を採用する際に経験する典型的な進化パターンの概念化を提供します。
論文の主なコントリビューションは、MLソリューションを取り巻く重要なエンジニアリング課題の概要を提供する、AIエンジニアリングに関する研究アジェンダである。
論文 参考訳(メタデータ) (2020-01-16T20:29:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。