Fugu-MT 論文翻訳(概要): Outline of an Independent Systematic Blackbox Test for ML-based Systems

論文の概要: Outline of an Independent Systematic Blackbox Test for ML-based Systems

arxiv url: http://arxiv.org/abs/2401.17062v2
Date: Wed, 19 Jun 2024 15:16:17 GMT
ステータス: 処理完了
システム内更新日: 2024-06-22 05:38:47.889638
Title: Outline of an Independent Systematic Blackbox Test for ML-based Systems
Title（参考訳）: MLシステムのための独立系ブラックボックステストの概要
Authors: Hans-Werner Wiesbrock, Jürgen Großmann,
Abstract要約: 本稿では、実際のトレーニングプロセスとは無関係に、MLモデルとMLベースのシステムをテストするために使用できるテスト手順を提案する。このようにして、これらのモデルやシステムの精度や精度といった典型的な品質ステートメントを独立して検証することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This article proposes a test procedure that can be used to test ML models and ML-based systems independently of the actual training process. In this way, the typical quality statements such as accuracy and precision of these models and system can be verified independently, taking into account their black box character and the immanent stochastic properties of ML models and their training data. The article presents first results from a set of test experiments and suggest extensions to existing test methods reflecting the stochastic nature of ML models and ML-based systems.
Abstract（参考訳）: 本稿では、実際のトレーニングプロセスとは無関係に、MLモデルとMLベースのシステムをテストするために使用できるテスト手順を提案する。このようにして、これらのモデルとシステムの精度や精度などの典型的な品質ステートメントは、ブラックボックスのキャラクタと、MLモデルとそのトレーニングデータの重要な確率特性を考慮に入れ、独立して検証することができる。本稿では,MLモデルとMLベースのシステムの確率的性質を反映したテスト手法の拡張を提案する。

関連論文リスト

Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
論文参考訳（メタデータ） (2024-10-31T15:06:16Z)
A General Framework for Data-Use Auditing of ML Models [47.369572284751285]
本稿では,データ所有者のデータを用いた学習におけるMLモデルの評価方法を提案する。本稿では,2種類のMLモデルにおけるデータ利用を監査するために,提案手法の有効性を示す。
論文参考訳（メタデータ） (2024-07-21T09:32:34Z)
Using Quality Attribute Scenarios for ML Model Test Case Generation [3.9111051646728527]
機械学習(ML)モデルテストの現在のプラクティスは、モデルパフォーマンスのテストの優先順位付けである。本稿では,品質属性(QA)のシナリオに基づいて,システムおよびモデル関連テストケースを抽出,定義する手法を提案する。 QAベースのアプローチはMLモデルテストと評価をサポートするプロセスとツールであるMLTEに統合されている。
論文参考訳（メタデータ） (2024-06-12T18:26:42Z)
Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文参考訳（メタデータ） (2024-03-03T04:21:21Z)
Machine Learning Data Suitability and Performance Testing Using Fault Injection Testing Framework [0.0]
本稿では,入力データ(FIUL-Data)テストフレームワークにおける望ましくない学習のためのフォールトインジェクションを提案する。データミュータは、さまざまな障害注入の影響に対して、MLシステムの脆弱性を探索する。本稿では, アンチセンスオリゴヌクレオチドの保持時間測定を含む分析化学データを用いて, フレームワークの評価を行った。
論文参考訳（メタデータ） (2023-09-20T12:58:35Z)
Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文参考訳（メタデータ） (2022-02-17T07:56:46Z)
Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
論文参考訳（メタデータ） (2021-10-22T15:03:20Z)
ML4ML: Automated Invariance Testing for Machine Learning Models [7.017320068977301]
種々の不変性に適用可能な自動テストフレームワークを提案する。我々は、そのような画像のテストデータを自動解析するために機械学習技術を採用し、ML4MLを容易にする。実験の結果,訓練されたML4ML評価器は,十分な精度で解析タスクを実行できることがわかった。
論文参考訳（メタデータ） (2021-09-27T10:23:44Z)
Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文参考訳（メタデータ） (2020-07-17T01:52:34Z)
Testing Monotonicity of Machine Learning Models [0.5330240017302619]
本稿では,モノトニック性の検証に基づく検証テスト,すなわち,検証技術を用いたホワイトボックスモデル上でのテスト入力の形式的計算を提案する。ホワイトボックスモデルでは、テストケースの直接計算によって、テスト入力の空間を体系的に探索することができる。 90のブラックボックスモデルに対する実証的な評価は、検証ベースのテストは、適応的ランダムテストと、有効性と効率性に関してプロパティベースの技術より優れていることを示している。
論文参考訳（メタデータ） (2020-02-27T17:38:06Z)
Manifold for Machine Learning Assurance [9.594432031144716]
本稿では,機械学習(ML)システムにおいて,要求システムを暗黙的に記述した高次元学習データから抽出する機械学習手法を提案する。その後、テストの精度測定、テスト入力生成、ターゲットのMLシステムの実行時の監視など、さまざまな品質保証タスクに利用されます。予備実験により, 提案手法により, 試験精度が試験データの多様性を推し進めるとともに, テスト生成手法が故障を防止し, 現実的なテストケースを生み出すことが確認され, 実行時モニタリングは, 対象システムの出力の信頼性を独立的に評価する手段を提供する。
論文参考訳（メタデータ） (2020-02-08T11:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。