論文の概要: Discovering Boundary Values of Feature-based Machine Learning
Classifiers through Exploratory Datamorphic Testing
- arxiv url: http://arxiv.org/abs/2110.00330v1
- Date: Fri, 1 Oct 2021 11:47:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 14:22:41.086278
- Title: Discovering Boundary Values of Feature-based Machine Learning
Classifiers through Exploratory Datamorphic Testing
- Title(参考訳): 探索的データモルフィックテストによる特徴ベース機械学習分類器の境界値の検出
- Authors: Hong Zhu and Ian Bayley
- Abstract要約: 本稿では,データ型テスト手法の枠組みとして,機械学習アプリケーションをテストするための一連のテスト戦略を提案する。
探索戦略の3つの変種は、自動データモルフィックテストツールMorphyで実装されたアルゴリズムで示される。
クラス間の境界を見つける能力とコストは、手動で設計した被験者による一連の制御実験と、実際の機械学習モデルによるケーススタディによって評価される。
- 参考スコア(独自算出の注目度): 7.8729820663730035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Testing has been widely recognised as difficult for AI applications. This
paper proposes a set of testing strategies for testing machine learning
applications in the framework of the datamorphism testing methodology. In these
strategies, testing aims at exploring the data space of a classification or
clustering application to discover the boundaries between classes that the
machine learning application defines. This enables the tester to understand
precisely the behaviour and function of the software under test. In the paper,
three variants of exploratory strategies are presented with the algorithms
implemented in the automated datamorphic testing tool Morphy. The correctness
of these algorithms are formally proved. Their capability and cost of
discovering borders between classes are evaluated via a set of controlled
experiments with manually designed subjects and a set of case studies with real
machine learning models.
- Abstract(参考訳): テストはAIアプリケーションにとって難しいと広く認識されている。
本稿では,データ型テスト手法の枠組みとして,機械学習アプリケーションをテストするための一連のテスト戦略を提案する。
これらの戦略では、テストは分類やクラスタリングアプリケーションのデータ空間を探索し、機械学習アプリケーションが定義するクラス間の境界を見つけることを目的としている。
これにより、テスターはテスト中のソフトウェアの振る舞いや機能を正確に理解できます。
本稿では,自動データ型テストツールMorphyに実装されたアルゴリズムを用いて,探索戦略の3つの変種を示す。
これらのアルゴリズムの正確性は正式に証明される。
クラス間の境界を見つける能力とコストは、手動で設計した被験者による一連の制御実験と、実際の機械学習モデルによるケーススタディによって評価される。
関連論文リスト
- Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。
認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。
我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2023-07-14T03:15:56Z) - Constrained Adversarial Learning and its applicability to Automated
Software Testing: a systematic review [0.0]
この体系的なレビューは、敵の学習やソフトウェアテストに適用される制約付きデータ生成手法の現状に焦点を当てている。
研究者や開発者に対して、敵対的な学習方法によるテストツールの強化と、ディジタルシステムのレジリエンスと堅牢性の向上を指導することを目的としている。
論文 参考訳(メタデータ) (2023-03-14T00:27:33Z) - ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。
自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
論文 参考訳(メタデータ) (2022-07-27T07:46:23Z) - Differential testing for machine learning: an analysis for
classification algorithms beyond deep learning [7.081604594416339]
我々はScikit-learn, Weka, Spark MLlib, Caretを用いてケーススタディを行う。
複数のフレームワークでどのアルゴリズムが利用できるかを考慮し、差分テストの可能性を特定する。
他のフレームワークで同じ設定を判断できないことが多いため、実現可能性には制限があるように思える。
論文 参考訳(メタデータ) (2022-07-25T08:27:01Z) - The Integration of Machine Learning into Automated Test Generation: A
Systematic Mapping Study [15.016047591601094]
我々は、新しい研究、テストプラクティス、研究者の目標、適用されたML技術、評価、課題を特徴づける。
MLはシステム、GUI、ユニット、パフォーマンス、テストのための入力を生成したり、既存の生成メソッドのパフォーマンスを改善したりする。
論文 参考訳(メタデータ) (2022-06-21T09:26:25Z) - The Familiarity Hypothesis: Explaining the Behavior of Deep Open Set
Methods [86.39044549664189]
特徴ベクトルデータに対する異常検出アルゴリズムは異常を外れ値として識別するが、外れ値検出はディープラーニングではうまく機能しない。
本論文は, 新規性の有無ではなく, 慣れ親しんだ特徴の欠如を検知しているため, これらの手法が成功するというFamiliarity仮説を提案する。
本論文は,親しみやすさの検出が表現学習の必然的な結果であるかどうかを論じる。
論文 参考訳(メタデータ) (2022-03-04T18:32:58Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳(メタデータ) (2021-11-09T13:30:34Z) - Learn then Test: Calibrating Predictive Algorithms to Achieve Risk
Control [67.52000805944924]
Learn then Test (LTT)は、機械学習モデルを校正するフレームワークである。
私たちの主な洞察は、リスクコントロール問題を複数の仮説テストとして再設計することです。
我々は、コンピュータビジョンの詳細な実例を用いて、コア機械学習タスクの新しいキャリブレーション手法を提供するために、我々のフレームワークを使用します。
論文 参考訳(メタデータ) (2021-10-03T17:42:03Z) - Class Introspection: A Novel Technique for Detecting Unlabeled
Subclasses by Leveraging Classifier Explainability Methods [0.0]
潜在構造はデータセットの分析を行う上で重要なステップである。
インスタンス説明手法を利用することで、既存の分類器を拡張して潜在クラスを検出することができる。
本稿では,分類器を自動解析するパイプラインと,この手法による結果を対話的に探索するWebアプリケーションについても述べる。
論文 参考訳(メタデータ) (2021-07-04T14:58:29Z) - Hybrid Method Based on NARX models and Machine Learning for Pattern
Recognition [0.0]
本研究は,機械学習とシステム識別の方法論を統合した新しい手法を提案する。
本手法の効率は,機械学習におけるケーススタディにより検証され,古典的分類アルゴリズムと比較して絶対的な結果が得られた。
論文 参考訳(メタデータ) (2021-06-08T00:17:36Z) - AutoOD: Automated Outlier Detection via Curiosity-guided Search and
Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。
本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。
さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2020-06-19T18:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。