論文の概要: Characterizing and Detecting Mismatch in Machine-Learning-Enabled Systems

• arxiv url: http://arxiv.org/abs/2103.14101v1
• Date: Thu, 25 Mar 2021 19:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 03:06:44.544026
• Title: Characterizing and Detecting Mismatch in Machine-Learning-Enabled Systems
• Title（参考訳）: 機械学習システムにおけるミスマッチのキャラクタリゼーションと検出
• Authors: Grace A. Lewis, Stephany Bellomo, Ipek Ozkaya
• Abstract要約: 機械学習システムの開発と展開は依然として課題だ。 本論文では,エンドツーエンドのML対応システム開発における知見とその意義について報告する。
• 参考スコア（独自算出の注目度）: 1.4695979686066065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasing availability of machine learning (ML) frameworks and tools, as well as their promise to improve solutions to data-driven decision problems, has resulted in popularity of using ML techniques in software systems. However, end-to-end development of ML-enabled systems, as well as their seamless deployment and operations, remain a challenge. One reason is that development and deployment of ML-enabled systems involves three distinct workflows, perspectives, and roles, which include data science, software engineering, and operations. These three distinct perspectives, when misaligned due to incorrect assumptions, cause ML mismatches which can result in failed systems. We conducted an interview and survey study where we collected and validated common types of mismatches that occur in end-to-end development of ML-enabled systems. Our analysis shows that how each role prioritizes the importance of relevant mismatches varies, potentially contributing to these mismatched assumptions. In addition, the mismatch categories we identified can be specified as machine readable descriptors contributing to improved ML-enabled system development. In this paper, we report our findings and their implications for improving end-to-end ML-enabled system development.
• Abstract（参考訳）: 機械学習(ML)フレームワークとツールの可用性の向上と、データ駆動による意思決定問題に対するソリューション改善の約束により、ソフトウェアシステムでMLテクニックの使用が人気になった。 しかし、ML対応システムのエンドツーエンド開発と、シームレスなデプロイメントと運用は依然として課題である。 1つの理由は、ML対応システムの開発とデプロイには、データサイエンス、ソフトウェアエンジニアリング、オペレーションを含む3つの異なるワークフロー、視点、役割が含まれるからである。 これら3つの異なる視点は、誤った仮定のために一致しなかった場合、MLミスマッチを引き起こす。 そこで我々は,ML対応システムのエンドツーエンド開発において発生する一般的なミスマッチを収集し,検証した。 我々の分析は、各役割がどのように関連するミスマッチの重要性を優先するかが異なり、これらのミスマッチした仮定に寄与する可能性があることを示している。 さらに、私たちが特定したミスマッチカテゴリは、ML対応システム開発の改善に寄与するマシン可読記述子として指定することができる。 本稿では,エンド・ツー・エンドのML対応システム開発を改善するための知見とその意義について報告する。

関連論文リスト

• Towards Trustworthy Machine Learning in Production: An Overview of the Robustness in MLOps Approach [0.0]
  近年、AI研究者や実践家は、信頼性と信頼性のある意思決定を行うシステムを構築するための原則とガイドラインを導入している。 実際には、システムが運用され、実際の環境で継続的に進化し、運用するためにデプロイされる必要がある場合に、根本的な課題が発生する。 この課題に対処するため、MLOps(Machine Learning Operations)は、デプロイメントにおけるMLソリューションを標準化するための潜在的なレシピとして登場した。
  論文  参考訳（メタデータ） (2024-10-28T09:34:08Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Test & Evaluation Best Practices for Machine Learning-Enabled Systems [7.148282824413932]
  機械学習(ML)ベースのソフトウェアシステムは、さまざまな領域で急速に普及している。 本報告では,ML対応ソフトウェアシステムのライフサイクル全体にわたるテスト・評価(T&E)のベストプラクティスについて述べる。
  論文  参考訳（メタデータ） (2023-10-10T17:11:14Z)
• Real-world Machine Learning Systems: A survey from a Data-Oriented Architecture Perspective [7.574538335342942]
  データ指向アーキテクチャ(DOA、Data-oriented Architecture)は、MLモデルを統合する上で、システムにより良いものを提供する新しい概念である。 DOAは、現在のアーキテクチャを拡張して、データ駆動、疎結合、分散化されたオープンシステムを作成する。 本稿では,MLベースのシステムの実環境展開を調査し,これらの疑問に答える。
  論文  参考訳（メタデータ） (2023-02-09T17:57:02Z)
• Understanding the Complexity and Its Impact on Testing in ML-Enabled Systems [8.630445165405606]
  世界中の企業で広く採用されている産業対話システムであるRasa 3.0について検討する。 私たちのゴールは、このような大規模なML対応システムの複雑さを特徴づけ、テストにおける複雑さの影響を理解することです。 本研究は,ML対応システムにおけるソフトウェア工学の実践的意義を明らかにする。
  論文  参考訳（メタデータ） (2023-01-10T08:13:24Z)
• Towards Perspective-Based Specification of Machine Learning-Enabled Systems [1.3406258114080236]
  本稿では、ML対応システムを特定するための視点に基づくアプローチに向けた取り組みについて述べる。 このアプローチでは、目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化された45のML関心事のセットを分析する。 本論文の主な貢献は、ML対応システムを特定するのに役立つ2つの新しいアーティファクトを提供することである。
  論文  参考訳（メタデータ） (2022-06-20T13:09:23Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。