論文の概要: Towards Guidelines for Assessing Qualities of Machine Learning Systems
- arxiv url: http://arxiv.org/abs/2008.11007v1
- Date: Tue, 25 Aug 2020 13:45:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 04:26:38.576928
- Title: Towards Guidelines for Assessing Qualities of Machine Learning Systems
- Title（参考訳）: 機械学習システムの品質評価ガイドライン作成に向けて
- Authors: Julien Siebert, Lisa Joeckel, Jens Heidrich, Koji Nakamichi, Kyoko
Ohashi, Isao Namba, Rieko Yamamoto, Mikio Aoyama
- Abstract要約: 本稿では,産業利用事例に基づくMLシステムの品質モデルの構築について述べる。
将来的には、MLシステムの種類によって、品質という用語がどう違うかを学びたいと考えています。
- 参考スコア（独自算出の注目度）: 1.715032913622871
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, systems containing components based on machine learning (ML)
methods are becoming more widespread. In order to ensure the intended behavior
of a software system, there are standards that define necessary quality aspects
of the system and its components (such as ISO/IEC 25010). Due to the different
nature of ML, we have to adjust quality aspects or add additional ones (such as
trustworthiness) and be very precise about which aspect is really relevant for
which object of interest (such as completeness of training data), and how to
objectively assess adherence to quality requirements. In this article, we
present the construction of a quality model (i.e., evaluation objects, quality
aspects, and metrics) for an ML system based on an industrial use case. This
quality model enables practitioners to specify and assess quality requirements
for such kinds of ML systems objectively. In the future, we want to learn how
the term quality differs between different types of ML systems and come up with
general guidelines for specifying and assessing qualities of ML systems.
- Abstract（参考訳）: 近年,機械学習(ML)手法に基づくコンポーネントを含むシステムの普及が進んでいる。
ソフトウェアシステムの意図した振る舞いを保証するため、システムとそのコンポーネント(ISO/IEC 25010など)に必要な品質の側面を定義する標準が存在する。
mlの異なる性質から、品質面の調整や(信頼性などの)追加、関心対象(トレーニングデータの完全性など)と品質要件への適合度を客観的に評価する方法について、極めて正確に知る必要があります。
本稿では,産業用ユースケースに基づいたmlシステムのための品質モデル(評価対象,品質側面,メトリクス)の構築について述べる。
この品質モデルにより、実践者はこの種のMLシステムの品質要件を客観的に指定し、評価することができる。
将来的には、MLシステムの種類によって品質という用語がどう違うかを学び、MLシステムの品質を特定し評価するための一般的なガイドラインを策定したいと考えています。
関連論文リスト
- Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。
メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文 参考訳（メタデータ） (2024-07-22T17:52:12Z) - A Fuzzy Logic-Based Quality Model For Identifying Microservices With Low Maintainability [0.0]
本稿ではファジィ論理に基づく階層的品質モデルを提案する。
ファジフィケーション手法を用いて、コードメトリクスの鮮明な値をファジィレベルに変換し、それらを品質モデルへのインプットとして適用します。
論文 参考訳（メタデータ） (2024-06-20T16:53:37Z) - Bringing Quantum Algorithms to Automated Machine Learning: A Systematic
Review of AutoML Frameworks Regarding Extensibility for QML Algorithms [1.4469725791865982]
本稿では、量子機械学習(QML)アルゴリズムを組み込む能力について、既存のAutoMLフレームワークの選択アプローチと分析について述べる。
そのため、利用可能なオープンソースツールは市場概要に集約され、適切なフレームワークは、マルチフェーズのマルチ基準アプローチで体系的に選択されます。
ハードウェアおよびソフトウェア制約に対するQC固有のパイプラインステップと決定特性を備えた拡張型量子機械学習(AutoQML)フレームワークを構築した。
論文 参考訳（メタデータ） (2023-10-06T13:21:16Z) - Identifying Concerns When Specifying Machine Learning-Enabled Systems: A
Perspective-Based Approach [1.2184324428571227]
PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。
MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
論文 参考訳（メタデータ） (2023-09-14T18:31:16Z) - Machine Learning-Enabled Software and System Architecture Frameworks [48.87872564630711]
データサイエンスと機械学習に関連する関心事、例えばデータサイエンティストやデータエンジニアの利害関係者は、まだ既存のアーキテクチャフレームワークには含まれていない。
10か国25以上の組織から61名の被験者を対象に調査を行った。
論文 参考訳（メタデータ） (2023-08-09T21:54:34Z) - QI2 -- an Interactive Tool for Data Quality Assurance [63.379471124899915]
欧州委員会による計画されたAI法では、データ品質に関する法的要件が規定されている。
複数のデータ品質面におけるデータ品質保証プロセスをサポートする新しいアプローチを導入する。
論文 参考訳（メタデータ） (2023-07-07T07:06:38Z) - Towards Perspective-Based Specification of Machine Learning-Enabled
Systems [1.3406258114080236]
本稿では、ML対応システムを特定するための視点に基づくアプローチに向けた取り組みについて述べる。
このアプローチでは、目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化された45のML関心事のセットを分析する。
本論文の主な貢献は、ML対応システムを特定するのに役立つ2つの新しいアーティファクトを提供することである。
論文 参考訳（メタデータ） (2022-06-20T13:09:23Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Quality Assurance Challenges for Machine Learning Software Applications
During Software Development Life Cycle Phases [1.4213973379473654]
本稿では機械学習(ML)モデルの品質保証に関する文献の詳細なレビューを行う。
ソフトウェア開発ライフサイクル(SDLC)の異なる段階にまたがる様々なML導入課題をマッピングすることで、MLSA品質保証問題の分類法を開発する。
このマッピングは、MLモデルの採用が重要であると考えられるMLSAの品質保証の取り組みを優先するのに役立ちます。
論文 参考訳（メタデータ） (2021-05-03T22:29:23Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-21T17:14:34Z) - Unsupervised Quality Estimation for Neural Machine Translation [63.38918378182266]
既存のアプローチでは、大量の専門家アノテートデータ、計算、トレーニング時間が必要です。
MTシステム自体以外に、トレーニングや追加リソースへのアクセスが不要なQEに対して、教師なしのアプローチを考案する。
我々は品質の人間の判断と非常によく相関し、最先端の教師付きQEモデルと競合する。
論文 参考訳（メタデータ） (2020-05-21T12:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。