論文の概要: A Meta-Summary of Challenges in Building Products with ML Components --
Collecting Experiences from 4758+ Practitioners
- arxiv url: http://arxiv.org/abs/2304.00078v1
- Date: Fri, 31 Mar 2023 19:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 20:00:31.824256
- Title: A Meta-Summary of Challenges in Building Products with ML Components --
Collecting Experiences from 4758+ Practitioners
- Title(参考訳): MLコンポーネントを用いた製品開発における課題のメタ要約 -4758以上の実践者からの経験-
- Authors: Nadia Nahar, Haoran Zhang, Grace Lewis, Shurui Zhou, Christian
K\"astner
- Abstract要約: 機械学習(ML)コンポーネントをソフトウェア製品に組み込むことで、新たなソフトウェアエンジニアリングの課題が提起される。
我々は,体系的な文献レビューのガイドラインを用いて,4758名以上の実践者と交流する50件の関連論文を収集した。
そして、これらの論文の中で500以上の課題について言及し、グループ化し、整理しました。
- 参考スコア(独自算出の注目度): 13.565678193855609
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Incorporating machine learning (ML) components into software products raises
new software-engineering challenges and exacerbates existing challenges. Many
researchers have invested significant effort in understanding the challenges of
industry practitioners working on building products with ML components, through
interviews and surveys with practitioners. With the intention to aggregate and
present their collective findings, we conduct a meta-summary study: We collect
50 relevant papers that together interacted with over 4758 practitioners using
guidelines for systematic literature reviews. We then collected, grouped, and
organized the over 500 mentions of challenges within those papers. We highlight
the most commonly reported challenges and hope this meta-summary will be a
useful resource for the research community to prioritize research and education
in this field.
- Abstract(参考訳): 機械学習(ML)コンポーネントをソフトウェア製品に組み込むことで、ソフトウェアエンジニアリングの新たな課題が生まれ、既存の課題がさらに悪化する。
多くの研究者は、MLコンポーネントを使った製品開発に取り組む業界実践者の課題を理解するために、実践者とのインタビューや調査を通じて、多大な努力を払ってきた。
我々は, 4758名以上の実践者と共同で, 体系的な文献レビューのガイドラインを用いて対話する50件の関連論文を収集した。
その後、500以上の論文の課題に関する言及を収集し、グループ化し、整理しました。
我々は、最も一般的に報告されている課題を強調し、このメタサマリーがこの分野で研究と教育を優先する研究コミュニティにとって有用なリソースになることを望んでいる。
関連論文リスト
- LLMs with Industrial Lens: Deciphering the Challenges and Prospects -- A
Survey [8.149749907267054]
大規模言語モデル(LLM)は、多くの産業用途を駆動する秘密の要素となっている。
本稿では,産業環境におけるLCMの活用にともなう障害と機会を解明し,評価する。
論文 参考訳(メタデータ) (2024-02-22T13:52:02Z) - MULTI: Multimodal Understanding Leaderboard with Text and Images [24.580401463432075]
我々は、複雑なテーブルや画像の理解、長いコンテキストでの推論においてMLLMを評価するための最先端ベンチマークとしてMultiを提案する。
Multiには18,000以上の質問と、公式の導出から画像の詳細分析、モダリティ間の推論まで、さまざまなタスクを持つMLLMの課題が含まれている。
GPT-4VはMultiで63.7%, 他のMLLMでは28.5%から55.3%であった。
論文 参考訳(メタデータ) (2024-02-05T16:41:02Z) - Large Language Models for Generative Information Extraction: A Survey [93.28676955662002]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - Competition-Level Problems are Effective LLM Evaluators [124.7648712310141]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳(メタデータ) (2023-12-04T18:58:57Z) - Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。
この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。
データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
論文 参考訳(メタデータ) (2023-09-17T20:28:17Z) - Identifying Concerns When Specifying Machine Learning-Enabled Systems: A
Perspective-Based Approach [1.2184324428571227]
PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。
MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
論文 参考訳(メタデータ) (2023-09-14T18:31:16Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳(メタデータ) (2023-07-12T20:01:52Z) - A Survey on Multimodal Large Language Models [71.63375558033364]
GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。
本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
論文 参考訳(メタデータ) (2023-06-23T15:21:52Z) - Mapping the Challenges of HCI: An Application and Evaluation of ChatGPT
and GPT-4 for Mining Insights at Scale [5.498355194100662]
テキストコーパスから洞察を抽出する実世界の課題に対して,ChatGPTとGPT-4の組み合わせを評価した。
2023年のCHI会議から100以上のトピックで4,392件の研究課題を抽出した。
また,ChatGPTとGPT-4の組み合わせは,テキストコーパスを大規模に解析するためのコスト効率に優れた手段である,という結論を得た。
論文 参考訳(メタデータ) (2023-06-08T08:41:30Z) - More Engineering, No Silos: Rethinking Processes and Interfaces in
Collaboration between Interdisciplinary Teams for Machine Learning Projects [4.482886054198202]
私たちは、機械学習システムを本番環境に構築、デプロイする際にチームが直面する重要なコラボレーションの課題を特定します。
我々は、要求、データ、統合のためのプロダクションMLシステムの開発における共通のコラボレーションポイントと、対応するチームパターンと課題について報告する。
論文 参考訳(メタデータ) (2021-10-19T20:03:20Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。