論文の概要: Identifying Concerns When Specifying Machine Learning-Enabled Systems: A
Perspective-Based Approach
- arxiv url: http://arxiv.org/abs/2309.07980v1
- Date: Thu, 14 Sep 2023 18:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 07:40:36.508284
- Title: Identifying Concerns When Specifying Machine Learning-Enabled Systems: A
Perspective-Based Approach
- Title（参考訳）: 機械学習可能なシステムを特定する際の懸念の特定--視点に基づくアプローチ
- Authors: Hugo Villamizar, Marcos Kalinowski, Helio Lopes, Daniel Mendez
- Abstract要約: PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。
MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
- 参考スコア（独自算出の注目度）: 1.2184324428571227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Engineering successful machine learning (ML)-enabled systems poses various
challenges from both a theoretical and a practical side. Among those challenges
are how to effectively address unrealistic expectations of ML capabilities from
customers, managers and even other team members, and how to connect business
value to engineering and data science activities composed by interdisciplinary
teams. In this paper, we present PerSpecML, a perspective-based approach for
specifying ML-enabled systems that helps practitioners identify which
attributes, including ML and non-ML components, are important to contribute to
the overall system's quality. The approach involves analyzing 59 concerns
related to typical tasks that practitioners face in ML projects, grouping them
into five perspectives: system objectives, user experience, infrastructure,
model, and data. Together, these perspectives serve to mediate the
communication between business owners, domain experts, designers, software and
ML engineers, and data scientists. The creation of PerSpecML involved a series
of validations conducted in different contexts: (i) in academia, (ii) with
industry representatives, and (iii) in two real industrial case studies. As a
result of the diverse validations and continuous improvements, PerSpecML stands
as a promising approach, poised to positively impact the specification of
ML-enabled systems, particularly helping to reveal key components that would
have been otherwise missed without using PerSpecML.
- Abstract（参考訳）: 機械学習(ml)対応のエンジニアリングは、理論面と実用面の両方から様々な課題を提起する。
これらの課題には、顧客やマネージャ、さらには他のチームメンバーからのML機能に対する非現実的な期待に効果的に対処する方法、学際的なチームによって構成されるエンジニアリングとデータサイエンス活動にビジネス価値を接続する方法などが含まれる。
本稿では、MLと非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを実践者が識別するのに役立つパースペクティブベースのアプローチであるPerSpecMLを提案する。
このアプローチでは、実践者がMLプロジェクトで直面する典型的なタスクに関連する59の懸念を分析し、システム目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化します。
これらの視点は、ビジネスオーナー、ドメインエキスパート、デザイナ、ソフトウェアおよびMLエンジニア、データサイエンティスト間のコミュニケーションを仲介するのに役立ちます。
PerSpecMLの作成には、さまざまなコンテキストで実施された一連の検証が含まれている。
academia (複数形 academias)
(ii)産業代表者、及び
(iii)2つの実産業ケーススタディにおいて。
さまざまなバリデーションと継続的改善の結果、PerSpecMLは有望なアプローチであり、ML対応システムの仕様に肯定的な影響を与え、特にPerSpecMLを使わずに見逃されたであろう重要なコンポーネントを明らかにするのに役立っている。
関連論文リスト
- Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。
本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。
鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
論文 参考訳（メタデータ） (2024-10-16T07:49:13Z) - Towards Effective Collaboration between Software Engineers and Data Scientists developing Machine Learning-Enabled Systems [1.1153433121962064]
機械学習(ML)対応システムの開発には、いくつかの社会的および技術的な課題が含まれている。
本稿は,これらのシステム構築における2つの重要なアクター – ソフトウェアエンジニアとデータサイエンティスト – のコラボレーションを強化する方法を理解することを目的としている。
我々の研究は、これらのアクター間のコラボレーションが、ML対応システムを効果的に開発する上で重要であることを発見した。
論文 参考訳（メタデータ） (2024-07-22T17:35:18Z) - AesBench: An Expert Benchmark for Multimodal Large Language Models on
Image Aesthetics Perception [64.25808552299905]
AesBenchはMLLMの審美的知覚能力の総合評価を目的とした専門家ベンチマークである。
本稿では,プロの審美専門家が提供した多彩な画像内容と高品質なアノテーションを特徴とするEAPD(Expert-labeled Aesthetics Perception Database)を構築した。
本稿では,知覚(AesP),共感(AesE),評価(AesA),解釈(AesI)の4つの視点からMLLMの審美的知覚能力を測定するための統合的基準を提案する。
論文 参考訳（メタデータ） (2024-01-16T10:58:07Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z) - Model-driven Engineering for Machine Learning Components: A Systematic
Literature Review [8.810090413018798]
MDE4ML の使用の背景にある主要な動機を明らかにするため,いくつかの分野の研究を分析した。
また,既存の文献のギャップについても論じ,今後の研究を推奨する。
論文 参考訳（メタデータ） (2023-11-01T04:29:47Z) - Machine Learning-Enabled Software and System Architecture Frameworks [48.87872564630711]
データサイエンスと機械学習に関連する関心事、例えばデータサイエンティストやデータエンジニアの利害関係者は、まだ既存のアーキテクチャフレームワークには含まれていない。
10か国25以上の組織から61名の被験者を対象に調査を行った。
論文 参考訳（メタデータ） (2023-08-09T21:54:34Z) - Towards Perspective-Based Specification of Machine Learning-Enabled
Systems [1.3406258114080236]
本稿では、ML対応システムを特定するための視点に基づくアプローチに向けた取り組みについて述べる。
このアプローチでは、目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化された45のML関心事のセットを分析する。
本論文の主な貢献は、ML対応システムを特定するのに役立つ2つの新しいアーティファクトを提供することである。
論文 参考訳（メタデータ） (2022-06-20T13:09:23Z) - Machine Learning Operations (MLOps): Overview, Definition, and
Architecture [0.0]
機械学習オペレーション(MLOps)のパラダイムは、この問題に対処する。
MLOpsはいまだ曖昧な用語であり、研究者や専門家にとっての結果は曖昧である。
必要なコンポーネントや役割、関連するアーキテクチャや原則をまとめて紹介します。
論文 参考訳（メタデータ） (2022-05-04T19:38:48Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Characterizing and Detecting Mismatch in Machine-Learning-Enabled
Systems [1.4695979686066065]
機械学習システムの開発と展開は依然として課題だ。
本論文では,エンドツーエンドのML対応システム開発における知見とその意義について報告する。
論文 参考訳（メタデータ） (2021-03-25T19:40:29Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。