論文の概要: Mutation Testing framework for Machine Learning
- arxiv url: http://arxiv.org/abs/2102.10961v1
- Date: Fri, 19 Feb 2021 18:02:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 17:48:59.991125
- Title: Mutation Testing framework for Machine Learning
- Title(参考訳): 機械学習のための突然変異テストフレームワーク
- Authors: Raju
- Abstract要約: 機械学習モデルの失敗は、生命や財産の喪失という観点から、深刻な結果をもたらす可能性がある。
世界中の開発者、科学者、そしてMLコミュニティは、重要なMLアプリケーションのための信頼性の高いテストアーキテクチャを構築しなければなりません。
この記事では、機械学習システム(MLS)テスト、その進化、現在のパラダイム、将来の作業に関する洞察的な旅を提供します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This is an article or technical note which is intended to provides an insight
journey of Machine Learning Systems (MLS) testing, its evolution, current
paradigm and future work. Machine Learning Models, used in critical
applications such as healthcare industry, Automobile, and Air Traffic control,
Share Trading etc., and failure of ML Model can lead to severe consequences in
terms of loss of life or property. To remediate this, developers, scientists,
and ML community around the world, must build a highly reliable test
architecture for critical ML application. At the very foundation layer, any
test model must satisfy the core testing attributes such as test properties and
its components. This attribute comes from the software engineering, but the
same cannot be applied in as-is form to the ML testing and we will tell you
why.
- Abstract(参考訳): これは、機械学習システム(MLS)テスト、その進化、現在のパラダイム、将来の作業に関する洞察を提供するための記事または技術ノートである。
機械学習モデルは、医療産業、自動車、航空交通制御、シェアトレーディングなどの重要なアプリケーションで使われ、mlモデルの失敗は、生命や財産の喪失という重大な結果をもたらす可能性がある。
これを改善するために、世界中の開発者、科学者、そしてMLコミュニティは、重要なMLアプリケーションのための信頼性の高いテストアーキテクチャを構築しなければなりません。
基本層では、テストモデルはテストプロパティとそのコンポーネントのようなコアテスト属性を満たさなければなりません。
この属性は、ソフトウェアエンジニアリングに由来するが、MLテストにそのまま適用することはできない。
関連論文リスト
- Studying the Practices of Testing Machine Learning Software in the Wild [19.804344437508213]
私たちは、多くのソフトウェアシステムで機械学習(ML)アルゴリズムの採用が増えているのを目撃しています。
これらのシステムのソフトウェア品質を保証することは、研究コミュニティにとって依然としてオープンな課題である。
論文 参考訳(メタデータ) (2023-12-19T21:18:14Z) - Efficiently Measuring the Cognitive Ability of LLMs: An Adaptive Testing
Perspective [63.92197404447808]
大きな言語モデル(LLM)は、人間のような認知能力を示している。
LLM評価のための適応テストフレームワークを提案する。
このアプローチは、モデルの性能に基づいて、難易度などのテスト問題の特徴を動的に調整する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - The Integration of Machine Learning into Automated Test Generation: A
Systematic Mapping Study [15.016047591601094]
我々は、新しい研究、テストプラクティス、研究者の目標、適用されたML技術、評価、課題を特徴づける。
MLはシステム、GUI、ユニット、パフォーマンス、テストのための入力を生成したり、既存の生成メソッドのパフォーマンスを改善したりする。
論文 参考訳(メタデータ) (2022-06-21T09:26:25Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳(メタデータ) (2022-02-17T07:56:46Z) - ML4ML: Automated Invariance Testing for Machine Learning Models [7.017320068977301]
種々の不変性に適用可能な自動テストフレームワークを提案する。
我々は、そのような画像のテストデータを自動解析するために機械学習技術を採用し、ML4MLを容易にする。
実験の結果,訓練されたML4ML評価器は,十分な精度で解析タスクを実行できることがわかった。
論文 参考訳(メタデータ) (2021-09-27T10:23:44Z) - Man versus Machine: AutoML and Human Experts' Role in Phishing Detection [4.124446337711138]
本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。
以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
論文 参考訳(メタデータ) (2021-08-27T09:26:20Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z) - Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。
本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文 参考訳(メタデータ) (2020-05-17T22:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。