論文の概要: A Meta-Summary of Challenges in Building Products with ML Components -- Collecting Experiences from 4758+ Practitioners

• arxiv url: http://arxiv.org/abs/2304.00078v1
• Date: Fri, 31 Mar 2023 19:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 20:00:31.824256
• Title: A Meta-Summary of Challenges in Building Products with ML Components -- Collecting Experiences from 4758+ Practitioners
• Title（参考訳）: MLコンポーネントを用いた製品開発における課題のメタ要約 -4758以上の実践者からの経験-
• Authors: Nadia Nahar, Haoran Zhang, Grace Lewis, Shurui Zhou, Christian K\"astner
• Abstract要約: 機械学習(ML)コンポーネントをソフトウェア製品に組み込むことで、新たなソフトウェアエンジニアリングの課題が提起される。 我々は,体系的な文献レビューのガイドラインを用いて,4758名以上の実践者と交流する50件の関連論文を収集した。 そして、これらの論文の中で500以上の課題について言及し、グループ化し、整理しました。
• 参考スコア（独自算出の注目度）: 13.565678193855609
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Incorporating machine learning (ML) components into software products raises new software-engineering challenges and exacerbates existing challenges. Many researchers have invested significant effort in understanding the challenges of industry practitioners working on building products with ML components, through interviews and surveys with practitioners. With the intention to aggregate and present their collective findings, we conduct a meta-summary study: We collect 50 relevant papers that together interacted with over 4758 practitioners using guidelines for systematic literature reviews. We then collected, grouped, and organized the over 500 mentions of challenges within those papers. We highlight the most commonly reported challenges and hope this meta-summary will be a useful resource for the research community to prioritize research and education in this field.
• Abstract（参考訳）: 機械学習(ML)コンポーネントをソフトウェア製品に組み込むことで、ソフトウェアエンジニアリングの新たな課題が生まれ、既存の課題がさらに悪化する。 多くの研究者は、MLコンポーネントを使った製品開発に取り組む業界実践者の課題を理解するために、実践者とのインタビューや調査を通じて、多大な努力を払ってきた。 我々は, 4758名以上の実践者と共同で, 体系的な文献レビューのガイドラインを用いて対話する50件の関連論文を収集した。 その後、500以上の論文の課題に関する言及を収集し、グループ化し、整理しました。 我々は、最も一般的に報告されている課題を強調し、このメタサマリーがこの分野で研究と教育を優先する研究コミュニティにとって有用なリソースになることを望んでいる。

関連論文リスト

• Practitioners' Discussions on Building LLM-based Applications for Production [6.544757635738911]
  大規模言語モデル(LLM)を積極的に開発する実践者から,2022年から2024年までの189本のビデオを収集した。 BERTopicを用いてテキストの解析を行い, 生成したトピックをテーマに手作業でソート, マージし, 8つのテーマで合計20のトピックを抽出した。 最も一般的なトピックは、検索強化世代(RAG)システムに重点を置いて、デザイン・アンド・アーキテクチャ(英語版)というテーマに含まれる。
  論文  参考訳（メタデータ） (2024-11-13T12:44:41Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
  我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。 MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。 我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
  論文  参考訳（メタデータ） (2024-06-10T15:19:09Z)
• Text Generation: A Systematic Literature Review of Tasks, Evaluation, and Challenges [7.140449861888235]
  このレビューでは、テキスト生成の作業を5つの主要なタスクに分類する。 各タスクについて、関連する特徴、サブタスク、および特定の課題についてレビューする。 近年のテキスト生成論文では,タスクやサブタスクに共通する9つの顕著な課題が報告されている。
  論文  参考訳（メタデータ） (2024-05-24T14:38:11Z)
• Identifying Concerns When Specifying Machine Learning-Enabled Systems: A Perspective-Based Approach [1.2184324428571227]
  PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。 MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
  論文  参考訳（メタデータ） (2023-09-14T18:31:16Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)
• A Survey on Multimodal Large Language Models [71.63375558033364]
  GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。 本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
  論文  参考訳（メタデータ） (2023-06-23T15:21:52Z)
• Mapping the Challenges of HCI: An Application and Evaluation of ChatGPT and GPT-4 for Mining Insights at Scale [4.6542291555324296]
  テキストコーパスから洞察を抽出する実世界の課題に対して,ChatGPTとGPT-4の組み合わせを評価した。 2023CHI会議の議題100件以上で4,392件の研究課題を抽出した。 また,ChatGPTとGPT-4の組み合わせは,テキストコーパスを大規模に解析するためのコスト効率に優れた手段である,という結論を得た。
  論文  参考訳（メタデータ） (2023-06-08T08:41:30Z)
• More Engineering, No Silos: Rethinking Processes and Interfaces in Collaboration between Interdisciplinary Teams for Machine Learning Projects [4.482886054198202]
  私たちは、機械学習システムを本番環境に構築、デプロイする際にチームが直面する重要なコラボレーションの課題を特定します。 我々は、要求、データ、統合のためのプロダクションMLシステムの開発における共通のコラボレーションポイントと、対応するチームパターンと課題について報告する。
  論文  参考訳（メタデータ） (2021-10-19T20:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。