論文の概要: Mutation Testing framework for Machine Learning

• arxiv url: http://arxiv.org/abs/2102.10961v1
• Date: Fri, 19 Feb 2021 18:02:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 17:48:59.991125
• Title: Mutation Testing framework for Machine Learning
• Title（参考訳）: 機械学習のための突然変異テストフレームワーク
• Authors: Raju
• Abstract要約: 機械学習モデルの失敗は、生命や財産の喪失という観点から、深刻な結果をもたらす可能性がある。 世界中の開発者、科学者、そしてMLコミュニティは、重要なMLアプリケーションのための信頼性の高いテストアーキテクチャを構築しなければなりません。 この記事では、機械学習システム(MLS)テスト、その進化、現在のパラダイム、将来の作業に関する洞察的な旅を提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This is an article or technical note which is intended to provides an insight journey of Machine Learning Systems (MLS) testing, its evolution, current paradigm and future work. Machine Learning Models, used in critical applications such as healthcare industry, Automobile, and Air Traffic control, Share Trading etc., and failure of ML Model can lead to severe consequences in terms of loss of life or property. To remediate this, developers, scientists, and ML community around the world, must build a highly reliable test architecture for critical ML application. At the very foundation layer, any test model must satisfy the core testing attributes such as test properties and its components. This attribute comes from the software engineering, but the same cannot be applied in as-is form to the ML testing and we will tell you why.
• Abstract（参考訳）: これは、機械学習システム(MLS)テスト、その進化、現在のパラダイム、将来の作業に関する洞察を提供するための記事または技術ノートである。 機械学習モデルは、医療産業、自動車、航空交通制御、シェアトレーディングなどの重要なアプリケーションで使われ、mlモデルの失敗は、生命や財産の喪失という重大な結果をもたらす可能性がある。 これを改善するために、世界中の開発者、科学者、そしてMLコミュニティは、重要なMLアプリケーションのための信頼性の高いテストアーキテクチャを構築しなければなりません。 基本層では、テストモデルはテストプロパティとそのコンポーネントのようなコアテスト属性を満たさなければなりません。 この属性は、ソフトウェアエンジニアリングに由来するが、MLテストにそのまま適用することはできない。

関連論文リスト

• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Using Quality Attribute Scenarios for ML Model Test Case Generation [3.9111051646728527]
  機械学習(ML)モデルテストの現在のプラクティスは、モデルパフォーマンスのテストの優先順位付けである。 本稿では,品質属性(QA)のシナリオに基づいて,システムおよびモデル関連テストケースを抽出,定義する手法を提案する。 QAベースのアプローチはMLモデルテストと評価をサポートするプロセスとツールであるMLTEに統合されている。
  論文  参考訳（メタデータ） (2024-06-12T18:26:42Z)
• On Extending the Automatic Test Markup Language (ATML) for Machine Learning [3.6458439734112695]
  本稿では,自動テストマークアップ言語(ATML)として知られるIEEE標準1671(IEEE Std 1671)の機械学習(ML)アプリケーションテストへの適用性について検討する。 本稿では, 対向ロバスト性やドリフト検出などの様々なテストのモデル化を通じて, 特定のアプリケーションに適用可能なフレームワークを提案する。 我々は、ATMLは、MLアプリケーションの効果的でほぼリアルタイムな運用T&Eのための有望なツールである、と結論付けている。
  論文  参考訳（メタデータ） (2024-04-04T19:28:38Z)
• Learning continuous models for continuous physics [94.42705784823997]
  本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。 本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
  論文  参考訳（メタデータ） (2022-02-17T07:56:46Z)
• ML4ML: Automated Invariance Testing for Machine Learning Models [7.017320068977301]
  種々の不変性に適用可能な自動テストフレームワークを提案する。 我々は、そのような画像のテストデータを自動解析するために機械学習技術を採用し、ML4MLを容易にする。 実験の結果,訓練されたML4ML評価器は,十分な精度で解析タスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2021-09-27T10:23:44Z)
• Man versus Machine: AutoML and Human Experts' Role in Phishing Detection [4.124446337711138]
  本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。 以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T09:26:20Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
  機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。 本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
  論文  参考訳（メタデータ） (2020-05-17T22:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。