論文の概要: Towards Perspective-Based Specification of Machine Learning-Enabled
Systems
- arxiv url: http://arxiv.org/abs/2206.09760v1
- Date: Mon, 20 Jun 2022 13:09:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-25 10:10:08.597078
- Title: Towards Perspective-Based Specification of Machine Learning-Enabled
Systems
- Title(参考訳): 機械学習対応システムのパースペクティブベース仕様に向けて
- Authors: Hugo Villamizar, Marcos Kalinowski, and Helio Lopes
- Abstract要約: 本稿では、ML対応システムを特定するための視点に基づくアプローチに向けた取り組みについて述べる。
このアプローチでは、目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化された45のML関心事のセットを分析する。
本論文の主な貢献は、ML対応システムを特定するのに役立つ2つの新しいアーティファクトを提供することである。
- 参考スコア(独自算出の注目度): 1.3406258114080236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) teams often work on a project just to realize the
performance of the model is not good enough. Indeed, the success of ML-enabled
systems involves aligning data with business problems, translating them into ML
tasks, experimenting with algorithms, evaluating models, capturing data from
users, among others. Literature has shown that ML-enabled systems are rarely
built based on precise specifications for such concerns, leading ML teams to
become misaligned due to incorrect assumptions, which may affect the quality of
such systems and overall project success. In order to help addressing this
issue, this paper describes our work towards a perspective-based approach for
specifying ML-enabled systems. The approach involves analyzing a set of 45 ML
concerns grouped into five perspectives: objectives, user experience,
infrastructure, model, and data. The main contribution of this paper is to
provide two new artifacts that can be used to help specifying ML-enabled
systems: (i) the perspective-based ML task and concern diagram and (ii) the
perspective-based ML specification template.
- Abstract(参考訳): マシンラーニング(ML)チームは、モデルのパフォーマンスが十分ではないことに気付くため、プロジェクトに取り組むことが多い。
実際、ML対応システムの成功には、データのビジネス問題との整合、MLタスクへの変換、アルゴリズムの実験、モデルの評価、ユーザからのデータのキャプチャなどが含まれる。
文献によると、ml対応のシステムはそのような懸念に対する正確な仕様に基づいて構築されることはほとんどなく、mlチームは誤った仮定のために不一致に陥り、そのようなシステムの品質やプロジェクト全体の成功に影響を及ぼす可能性がある。
本稿では,この問題に対処するため,ML対応システムを特定するための視点ベースアプローチに向けた取り組みについて述べる。
このアプローチでは、目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化された45のML関心事のセットを分析する。
本論文の主な貢献は、ML対応システムを特定するのに役立つ2つの新しいアーティファクトを提供することである。
i)視点に基づくMLタスクと関心図
(ii)パースペクティブベースのML仕様テンプレート。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Machine Vision Therapy: Multimodal Large Language Models Can Enhance
Visual Robustness via Denoising In-Context Learning [71.0588455785955]
本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。
復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
論文 参考訳(メタデータ) (2023-12-05T07:29:14Z) - Identifying Concerns When Specifying Machine Learning-Enabled Systems: A
Perspective-Based Approach [1.2184324428571227]
PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。
MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
論文 参考訳(メタデータ) (2023-09-14T18:31:16Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language
Models [75.85429963948769]
最初の総合的MLLM評価ベンチマークMMEを示す。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
総計30個のMLLMをMMEで総合的に評価した。
論文 参考訳(メタデータ) (2023-06-23T09:22:36Z) - Understanding the Complexity and Its Impact on Testing in ML-Enabled
Systems [8.630445165405606]
世界中の企業で広く採用されている産業対話システムであるRasa 3.0について検討する。
私たちのゴールは、このような大規模なML対応システムの複雑さを特徴づけ、テストにおける複雑さの影響を理解することです。
本研究は,ML対応システムにおけるソフトウェア工学の実践的意義を明らかにする。
論文 参考訳(メタデータ) (2023-01-10T08:13:24Z) - Prescriptive and Descriptive Approaches to Machine-Learning Transparency [5.040810032102723]
我々は,機械学習システムの透明性と規範的文書化を高めることを目的とした,メソッドカードと呼ばれる予備的手法を提案する。
我々は,本提案を小さなオブジェクト検出の例で示すとともに,モデル開発者に対して,メソッドカードが重要な考慮事項を伝達する方法を実証する。
論文 参考訳(メタデータ) (2022-04-27T15:26:50Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - Characterizing and Detecting Mismatch in Machine-Learning-Enabled
Systems [1.4695979686066065]
機械学習システムの開発と展開は依然として課題だ。
本論文では,エンドツーエンドのML対応システム開発における知見とその意義について報告する。
論文 参考訳(メタデータ) (2021-03-25T19:40:29Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳(メタデータ) (2020-08-10T06:07:52Z) - Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。
本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文 参考訳(メタデータ) (2020-05-17T22:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。