論文の概要: ML4ML: Automated Invariance Testing for Machine Learning Models

• arxiv url: http://arxiv.org/abs/2109.12926v1
• Date: Mon, 27 Sep 2021 10:23:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 01:50:21.735081
• Title: ML4ML: Automated Invariance Testing for Machine Learning Models
• Title（参考訳）: ml4ml: 機械学習モデルの自動不分散テスト
• Authors: Zukang Liao, Pengfei Zhang and Min Chen
• Abstract要約: 種々の不変性に適用可能な自動テストフレームワークを提案する。 我々は、そのような画像のテストデータを自動解析するために機械学習技術を採用し、ML4MLを容易にする。 実験の結果,訓練されたML4ML評価器は,十分な精度で解析タスクを実行できることがわかった。
• 参考スコア（独自算出の注目度）: 7.017320068977301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In machine learning workflows, determining invariance qualities of a model is a common testing procedure. In this paper, we propose an automatic testing framework that is applicable to a variety of invariance qualities. We draw an analogy between invariance testing and medical image analysis and propose to use variance matrices as ``imagery'' testing data. This enables us to employ machine learning techniques for analysing such ``imagery'' testing data automatically, hence facilitating ML4ML (machine learning for machine learning). We demonstrate the effectiveness and feasibility of the proposed framework by developing ML4ML models (assessors) for determining rotation-, brightness-, and size-variances of a collection of neural networks. Our testing results show that the trained ML4ML assessors can perform such analytical tasks with sufficient accuracy.
• Abstract（参考訳）: 機械学習ワークフローでは、モデルの不変性を決定することが一般的なテスト手順である。 本稿では,多種多様な不変性に適用可能な自動テストフレームワークを提案する。 非分散テストと医用画像解析の類似性を示し,分散行列を ``imagery'' テストデータとして使用することを提案する。 これにより、このような‘イメージ’テストデータを自動的に分析する機械学習技術が活用できるため、ml4ml(machine learning for machine learning)が容易になります。 ニューラルネットワークの集合の回転、明るさ、大きさのばらつきを決定するML4MLモデル(アセンサ)を開発することにより、提案フレームワークの有効性と実現可能性を示す。 実験の結果,訓練されたML4ML評価器は,十分な精度で解析タスクを実行できることがわかった。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Analytical results for uncertainty propagation through trained machine learning regression models [0.10878040851637999]
  本稿では、トレーニング/修正機械学習(ML)回帰モデルによる不確実性伝播の課題に対処する。 計算効率の観点から,本手法の有効性を検証し,モンテカルロ法と比較する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-17T10:16:20Z)
• Machine Learning Data Suitability and Performance Testing Using Fault Injection Testing Framework [0.0]
  本稿では,入力データ(FIUL-Data)テストフレームワークにおける望ましくない学習のためのフォールトインジェクションを提案する。 データミュータは、さまざまな障害注入の影響に対して、MLシステムの脆弱性を探索する。 本稿では, アンチセンスオリゴヌクレオチドの保持時間測定を含む分析化学データを用いて, フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-09-20T12:58:35Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Learning continuous models for continuous physics [94.42705784823997]
  本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。 本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
  論文  参考訳（メタデータ） (2022-02-17T07:56:46Z)
• QuantifyML: How Good is my Machine Learning Model? [0.0]
  QuantifyMLは、機械学習モデルが与えられたデータから学習し、一般化した範囲を定量化することを目的としている。 この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。
  論文  参考訳（メタデータ） (2021-10-25T01:56:01Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Mutation Testing framework for Machine Learning [0.0]
  機械学習モデルの失敗は、生命や財産の喪失という観点から、深刻な結果をもたらす可能性がある。 世界中の開発者、科学者、そしてMLコミュニティは、重要なMLアプリケーションのための信頼性の高いテストアーキテクチャを構築しなければなりません。 この記事では、機械学習システム(MLS)テスト、その進化、現在のパラダイム、将来の作業に関する洞察的な旅を提供します。
  論文  参考訳（メタデータ） (2021-02-19T18:02:31Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Testing Monotonicity of Machine Learning Models [0.5330240017302619]
  本稿では,モノトニック性の検証に基づく検証テスト,すなわち,検証技術を用いたホワイトボックスモデル上でのテスト入力の形式的計算を提案する。 ホワイトボックスモデルでは、テストケースの直接計算によって、テスト入力の空間を体系的に探索することができる。 90のブラックボックスモデルに対する実証的な評価は、検証ベースのテストは、適応的ランダムテストと、有効性と効率性に関してプロパティベースの技術より優れていることを示している。
  論文  参考訳（メタデータ） (2020-02-27T17:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。