論文の概要: Using Metamorphic Relations to Verify and Enhance Artcode Classification
- arxiv url: http://arxiv.org/abs/2108.02694v1
- Date: Thu, 5 Aug 2021 15:54:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-06 16:21:00.161456
- Title: Using Metamorphic Relations to Verify and Enhance Artcode Classification
- Title（参考訳）: 変成関係を用いたArtcode分類の検証と拡張
- Authors: Liming Xu, Dave Towey, Andrew French, Steve Benford, Zhi Quan Zhou and
Tsong Yueh Chen
- Abstract要約: オラクル問題に直面している領域の例として、機械学習を用いて、入力イメージを事前定義されたクラスのセットの1つに分類する自動画像分類がある。
オラクルの問題を軽減するソフトウェアテストへのアプローチは、メタモルフィックテスト(MT)である。
本稿では、Artcodesと呼ばれる視覚的に隠されたマーカーを含む画像の分類問題について検討し、訓練された分類器の検証と拡張にMTを適用した。
- 参考スコア（独自算出の注目度）: 39.36253474867746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software testing is often hindered where it is impossible or impractical to
determine the correctness of the behaviour or output of the software under test
(SUT), a situation known as the oracle problem. An example of an area facing
the oracle problem is automatic image classification, using machine learning to
classify an input image as one of a set of predefined classes. An approach to
software testing that alleviates the oracle problem is metamorphic testing
(MT). While traditional software testing examines the correctness of individual
test cases, MT instead examines the relations amongst multiple executions of
test cases and their outputs. These relations are called metamorphic relations
(MRs): if an MR is found to be violated, then a fault must exist in the SUT.
This paper examines the problem of classifying images containing visually
hidden markers called Artcodes, and applies MT to verify and enhance the
trained classifiers. This paper further examines two MRs, Separation and
Occlusion, and reports on their capability in verifying the image
classification using one-way analysis of variance (ANOVA) in conjunction with
three other statistical analysis methods: t-test (for unequal variances),
Kruskal-Wallis test, and Dunnett's test. In addition to our previously-studied
classifier, that used Random Forests, we introduce a new classifier that uses a
support vector machine, and present its MR-augmented version. Experimental
evaluations across a number of performance metrics show that the augmented
classifiers can achieve better performance than non-augmented classifiers. This
paper also analyses how the enhanced performance is obtained.
- Abstract（参考訳）: ソフトウェアテストは、テスト中のソフトウェア(SUT)の振舞いやアウトプットの正しさを決定することが不可能または非現実的である場合、しばしば障害となる。
オラクル問題に直面している領域の例として、機械学習を用いて、入力イメージを事前定義されたクラスのセットの1つに分類する自動画像分類がある。
オラクルの問題を軽減するソフトウェアテストへのアプローチは、メタモルフィックテスト(MT)である。
従来のソフトウェアテストは個々のテストケースの正確性を調べるが、mtはテストケースの複数の実行とその出力の関係を調べる。
これらの関係を準同型関係(MRs: Metamorphic relations)と呼ぶ: MRが破られた場合、SUTに欠陥が存在する。
本稿では,アートコードと呼ばれる視覚的に隠されたマーカーを含む画像の分類の問題について検討し,mtを用いて訓練された分類器の検証と拡張を行う。
本稿ではさらに,mrsの分離と咬合について検討し,t-test(不等分散),kruskal-wallis test,dunnett's testの3つの統計解析法と併用して,一方向分散解析(anova)を用いて画像分類の検証を行う能力について報告する。
ランダムフォレストを用いた以前に研究した分類器に加えて,サポートベクターマシンを用いた新しい分類器を導入し,MR拡張版を提示する。
実験により,拡張分類器は非拡張分類器よりも優れた性能が得られることが示された。
本稿では,性能向上の方法についても考察する。
関連論文リスト
- Deep anytime-valid hypothesis testing [29.273915933729057]
非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。
テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。
合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
論文 参考訳（メタデータ） (2023-10-30T09:46:19Z) - Zero-shot Model Diagnosis [80.36063332820568]
ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。
本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
論文 参考訳（メタデータ） (2023-03-27T17:59:33Z) - Active Sequential Two-Sample Testing [18.99517340397671]
サンプル測定が安価に利用できる新しいシナリオでは,この2サンプルテストの問題を考慮する。
我々は,emphactiveNIST-sampleテストフレームワークを考案し,逐次クエリだけでなく,emphactivelyクエリも考案した。
実際に、我々はフレームワークのインスタンス化を導入し、いくつかの実験を用いて評価する。
論文 参考訳（メタデータ） (2023-01-30T02:23:49Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:47:11Z) - Visualizing Classifier Adjacency Relations: A Case Study in Speaker
Verification and Voice Anti-Spoofing [72.4445825335561]
任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。
ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。
提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
論文 参考訳（メタデータ） (2021-06-11T13:03:33Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - Evaluating and Mitigating Bias in Image Classifiers: A Causal
Perspective Using Counterfactuals [27.539001365348906]
本稿では、逆学習推論(ALI)の改良版に構造因果モデル(SCM)を組み込むことにより、逆ファクトアルを生成する方法を提案する。
本稿では,事前学習された機械学習分類器の説明方法を示し,そのバイアスを評価し,そのバイアスを正則化器を用いて緩和する方法について述べる。
論文 参考訳（メタデータ） (2020-09-17T13:19:31Z) - I Am Going MAD: Maximum Discrepancy Competition for Comparing
Classifiers Adaptively [135.7695909882746]
我々は、MAD(Maximum Discrepancy)コンペティションを命名する。
任意に大きいラベル付き画像のコーパスから小さなテストセットを適応的にサンプリングする。
結果のモデル依存画像集合に人間のラベルを付けると、競合する分類器の相対的な性能が明らかになる。
論文 参考訳（メタデータ） (2020-02-25T03:32:29Z) - Object-based Metamorphic Testing through Image Structuring [0.6445605125467573]
ソフトウェアのテストは、多くの場合、大量生産のテストケースを必要とし、それのためのテストオラクルを提供するためコストがかかる。
オラクル問題を緩和するために提案された1つの方法は変成テストである。
論文 参考訳（メタデータ） (2020-02-12T10:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。