論文の概要: Testing Monotonicity of Machine Learning Models

• arxiv url: http://arxiv.org/abs/2002.12278v1
• Date: Thu, 27 Feb 2020 17:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:28:54.956532
• Title: Testing Monotonicity of Machine Learning Models
• Title（参考訳）: 機械学習モデルの単調性テスト
• Authors: Arnab Sharma and Heike Wehrheim
• Abstract要約: 本稿では,モノトニック性の検証に基づく検証テスト,すなわち,検証技術を用いたホワイトボックスモデル上でのテスト入力の形式的計算を提案する。 ホワイトボックスモデルでは、テストケースの直接計算によって、テスト入力の空間を体系的に探索することができる。 90のブラックボックスモデルに対する実証的な評価は、検証ベースのテストは、適応的ランダムテストと、有効性と効率性に関してプロパティベースの技術より優れていることを示している。
• 参考スコア（独自算出の注目度）: 0.5330240017302619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Today, machine learning (ML) models are increasingly applied in decision making. This induces an urgent need for quality assurance of ML models with respect to (often domain-dependent) requirements. Monotonicity is one such requirement. It specifies a software as 'learned' by an ML algorithm to give an increasing prediction with the increase of some attribute values. While there exist multiple ML algorithms for ensuring monotonicity of the generated model, approaches for checking monotonicity, in particular of black-box models, are largely lacking. In this work, we propose verification-based testing of monotonicity, i.e., the formal computation of test inputs on a white-box model via verification technology, and the automatic inference of this approximating white-box model from the black-box model under test. On the white-box model, the space of test inputs can be systematically explored by a directed computation of test cases. The empirical evaluation on 90 black-box models shows verification-based testing can outperform adaptive random testing as well as property-based techniques with respect to effectiveness and efficiency.
• Abstract（参考訳）: 今日、機械学習(ML)モデルは意思決定にますます適用されています。 これにより、(しばしばドメインに依存した)要求に対して、MLモデルの品質保証が緊急に必要となる。 単調性はそのような要件の1つである。 mlアルゴリズムによってソフトウェアを 'learned' と指定し、いくつかの属性値の増加による予測を増加させる。 生成したモデルの単調性を保証するための複数のMLアルゴリズムが存在するが、特にブラックボックスモデルの単調性をチェックするアプローチには、ほとんど欠けている。 本研究では,モノトニック性の検証に基づく検証,すなわち,検証技術によるテスト入力の形式的計算,およびテスト中のブラックボックスモデルからのこの近似されたホワイトボックスモデルの自動推論を提案する。 ホワイトボックスモデルでは、テスト入力の空間はテストケースの有向計算によって体系的に探究することができる。 90のブラックボックスモデルに対する実証的な評価は、検証ベースのテストは、適応的ランダムテストと、有効性と効率性に関してプロパティベースの技術より優れていることを示している。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Using Quality Attribute Scenarios for ML Model Test Case Generation [3.9111051646728527]
  機械学習(ML)モデルテストの現在のプラクティスは、モデルパフォーマンスのテストの優先順位付けである。 本稿では,品質属性(QA)のシナリオに基づいて,システムおよびモデル関連テストケースを抽出,定義する手法を提案する。 QAベースのアプローチはMLモデルテストと評価をサポートするプロセスとツールであるMLTEに統合されている。
  論文  参考訳（メタデータ） (2024-06-12T18:26:42Z)
• DREAM: Domain-free Reverse Engineering Attributes of Black-box Model [51.37041886352823]
  ブラックボックス対象モデルの属性をドメインに依存しないリバースエンジニアリングの新しい問題を提案する。 対象のブラックボックスモデルの属性を未知のトレーニングデータで推測するために,ドメインに依存しないモデルを学ぶ。
  論文  参考訳（メタデータ） (2023-07-20T16:25:58Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Learning to Increase the Power of Conditional Randomization Tests [8.883733362171032]
  モデル-X条件ランダム化テストは、条件独立性テストのための一般的なフレームワークである。 本稿では,モデルXテストのパワー向上を目的とした新しいモデル適合方式を提案する。
  論文  参考訳（メタデータ） (2022-07-03T12:29:25Z)
• White-box Testing of NLP models with Mask Neuron Coverage [30.508750085817717]
  トランスフォーマーベースNLPモデル用にカスタマイズしたホワイトボックステスト手法を提案する。 MNCOVERは、テスト中にモデルの注意層がどれだけ徹底的に運動されているかを測定する。 我々は、MNCOVERを用いて、CheckListの入力生成をガイドし、代替のNLPテスト手法を評価し、データの拡張を推し進めて精度を向上させる方法を示す。
  論文  参考訳（メタデータ） (2022-05-10T17:07:23Z)
• Learning continuous models for continuous physics [94.42705784823997]
  本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。 本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
  論文  参考訳（メタデータ） (2022-02-17T07:56:46Z)
• Data Synthesis for Testing Black-Box Machine Learning Models [2.3800397174740984]
  機械学習モデルの利用の増加は、これらのモデルの信頼性に関する疑問を提起する。 本稿では、ブラックボックスML/DLモデルをテストするための自動テストデータ合成のためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2021-11-03T12:00:30Z)
• ML4ML: Automated Invariance Testing for Machine Learning Models [7.017320068977301]
  種々の不変性に適用可能な自動テストフレームワークを提案する。 我々は、そのような画像のテストデータを自動解析するために機械学習技術を採用し、ML4MLを容易にする。 実験の結果,訓練されたML4ML評価器は,十分な精度で解析タスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2021-09-27T10:23:44Z)
• Hessian-based toolbox for reliable and interpretable machine learning in physics [58.720142291102135]
  本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。 与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。 我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
  論文  参考訳（メタデータ） (2021-08-04T16:32:59Z)
• Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
  選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。 勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。 これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
  論文  参考訳（メタデータ） (2021-02-07T11:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。