論文の概要: Discovering Boundary Values of Feature-based Machine Learning Classifiers through Exploratory Datamorphic Testing

• arxiv url: http://arxiv.org/abs/2110.00330v1
• Date: Fri, 1 Oct 2021 11:47:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 14:22:41.086278
• Title: Discovering Boundary Values of Feature-based Machine Learning Classifiers through Exploratory Datamorphic Testing
• Title（参考訳）: 探索的データモルフィックテストによる特徴ベース機械学習分類器の境界値の検出
• Authors: Hong Zhu and Ian Bayley
• Abstract要約: 本稿では,データ型テスト手法の枠組みとして,機械学習アプリケーションをテストするための一連のテスト戦略を提案する。 探索戦略の3つの変種は、自動データモルフィックテストツールMorphyで実装されたアルゴリズムで示される。 クラス間の境界を見つける能力とコストは、手動で設計した被験者による一連の制御実験と、実際の機械学習モデルによるケーススタディによって評価される。
• 参考スコア（独自算出の注目度）: 7.8729820663730035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Testing has been widely recognised as difficult for AI applications. This paper proposes a set of testing strategies for testing machine learning applications in the framework of the datamorphism testing methodology. In these strategies, testing aims at exploring the data space of a classification or clustering application to discover the boundaries between classes that the machine learning application defines. This enables the tester to understand precisely the behaviour and function of the software under test. In the paper, three variants of exploratory strategies are presented with the algorithms implemented in the automated datamorphic testing tool Morphy. The correctness of these algorithms are formally proved. Their capability and cost of discovering borders between classes are evaluated via a set of controlled experiments with manually designed subjects and a set of case studies with real machine learning models.
• Abstract（参考訳）: テストはAIアプリケーションにとって難しいと広く認識されている。 本稿では,データ型テスト手法の枠組みとして,機械学習アプリケーションをテストするための一連のテスト戦略を提案する。 これらの戦略では、テストは分類やクラスタリングアプリケーションのデータ空間を探索し、機械学習アプリケーションが定義するクラス間の境界を見つけることを目的としている。 これにより、テスターはテスト中のソフトウェアの振る舞いや機能を正確に理解できます。 本稿では,自動データ型テストツールMorphyに実装されたアルゴリズムを用いて,探索戦略の3つの変種を示す。 これらのアルゴリズムの正確性は正式に証明される。 クラス間の境界を見つける能力とコストは、手動で設計した被験者による一連の制御実験と、実際の機械学習モデルによるケーススタディによって評価される。

関連論文リスト

• Introducing Ensemble Machine Learning Algorithms for Automatic Test Case Generation using Learning Based Testing [0.0]
  Ensemble法は、複数のモデルを組み合わせて予測能力を向上し、一般化エラーを低減する強力な機械学習アルゴリズムである。 本研究では,学習ベーステスト(LBT)アルゴリズムにおけるモデル推論のためのアンサンブル手法とベース分類器の組み合わせを体系的に検討し,SUTの故障検出テストケースを概念実証として生成することを目的とする。
  論文  参考訳（メタデータ） (2024-09-06T23:24:59Z)
• Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
  本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。 4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
  論文  参考訳（メタデータ） (2024-07-31T21:12:21Z)
• Survey of Computerized Adaptive Testing: A Machine Learning Perspective [66.26687542572974]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、試験の熟練度を評価するための効率的で調整された方法である。 本稿では,この適応テスト手法に対する新たな視点を提示し,機械学習に着目したCATに関する調査を行うことを目的とする。
  論文  参考訳（メタデータ） (2024-03-31T15:09:47Z)
• Constrained Adversarial Learning and its applicability to Automated Software Testing: a systematic review [0.0]
  この体系的なレビューは、敵の学習やソフトウェアテストに適用される制約付きデータ生成手法の現状に焦点を当てている。 研究者や開発者に対して、敵対的な学習方法によるテストツールの強化と、ディジタルシステムのレジリエンスと堅牢性の向上を指導することを目的としている。
  論文  参考訳（メタデータ） (2023-03-14T00:27:33Z)
• ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
  本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。 自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
  論文  参考訳（メタデータ） (2022-07-27T07:46:23Z)
• The Integration of Machine Learning into Automated Test Generation: A Systematic Mapping Study [15.016047591601094]
  我々は、新しい研究、テストプラクティス、研究者の目標、適用されたML技術、評価、課題を特徴づける。 MLはシステム、GUI、ユニット、パフォーマンス、テストのための入力を生成したり、既存の生成メソッドのパフォーマンスを改善したりする。
  論文  参考訳（メタデータ） (2022-06-21T09:26:25Z)
• The Familiarity Hypothesis: Explaining the Behavior of Deep Open Set Methods [86.39044549664189]
  特徴ベクトルデータに対する異常検出アルゴリズムは異常を外れ値として識別するが、外れ値検出はディープラーニングではうまく機能しない。 本論文は, 新規性の有無ではなく, 慣れ親しんだ特徴の欠如を検知しているため, これらの手法が成功するというFamiliarity仮説を提案する。 本論文は,親しみやすさの検出が表現学習の必然的な結果であるかどうかを論じる。
  論文  参考訳（メタデータ） (2022-03-04T18:32:58Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Learn then Test: Calibrating Predictive Algorithms to Achieve Risk Control [67.52000805944924]
  Learn then Test (LTT)は、機械学習モデルを校正するフレームワークである。 私たちの主な洞察は、リスクコントロール問題を複数の仮説テストとして再設計することです。 我々は、コンピュータビジョンの詳細な実例を用いて、コア機械学習タスクの新しいキャリブレーション手法を提供するために、我々のフレームワークを使用します。
  論文  参考訳（メタデータ） (2021-10-03T17:42:03Z)
• Hybrid Method Based on NARX models and Machine Learning for Pattern Recognition [0.0]
  本研究は,機械学習とシステム識別の方法論を統合した新しい手法を提案する。 本手法の効率は,機械学習におけるケーススタディにより検証され,古典的分類アルゴリズムと比較して絶対的な結果が得られた。
  論文  参考訳（メタデータ） (2021-06-08T00:17:36Z)
• AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
  外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。 本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。 さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-06-19T18:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。