論文の概要: Latent Space Class Dispersion: Effective Test Data Quality Assessment for DNNs

• arxiv url: http://arxiv.org/abs/2503.18799v1
• Date: Mon, 24 Mar 2025 15:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:37:56.891627
• Title: Latent Space Class Dispersion: Effective Test Data Quality Assessment for DNNs
• Title（参考訳）: 潜時空間クラス分散:DNNの効果的なテストデータ品質評価
• Authors: Vivek Vekariya, Mojdeh Golagha, Andrea Stocco, Alexander Pretschner,
• Abstract要約: Latent Space Class Dispersion (LSCD)は、ディープニューラルネットワーク(DNN)のテストデータセットの品質を定量化する新しいメトリクスである。 実験により,LSCDは画像分類タスクに関連する3つの一般的なベンチマークの試験データセットの欠陥を明らかにし,定量化することを示した。
• 参考スコア（独自算出の注目度）: 45.129846925131055
• License:
• Abstract: High-quality test datasets are crucial for assessing the reliability of Deep Neural Networks (DNNs). Mutation testing evaluates test dataset quality based on their ability to uncover injected faults in DNNs as measured by mutation score (MS). At the same time, its high computational cost motivates researchers to seek alternative test adequacy criteria. We propose Latent Space Class Dispersion (LSCD), a novel metric to quantify the quality of test datasets for DNNs. It measures the degree of dispersion within a test dataset as observed in the latent space of a DNN. Our empirical study shows that LSCD reveals and quantifies deficiencies in the test dataset of three popular benchmarks pertaining to image classification tasks using DNNs. Corner cases generated using automated fuzzing were found to help enhance fault detection and improve the overall quality of the original test sets calculated by MS and LSCD. Our experiments revealed a high positive correlation (0.87) between LSCD and MS, significantly higher than the one achieved by the well-studied Distance-based Surprise Coverage (0.25). These results were obtained from 129 mutants generated through pre-training mutation operators, with statistical significance and a high validity of corner cases. These observations suggest that LSCD can serve as a cost-effective alternative to expensive mutation testing, eliminating the need to generate mutant models while offering comparably valuable insights into test dataset quality for DNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の信頼性を評価するためには、高品質なテストデータセットが不可欠である。 突然変異試験は、DNNにおける注入断層を突然変異スコア(MS)で測定する能力に基づいて、テストデータセットの品質を評価する。 同時に、その高い計算コストは、研究者が代替の試験精度基準を求める動機となっている。 DNNにおけるテストデータセットの品質を定量化するための新しい指標であるLatent Space Class Dispersion (LSCD)を提案する。 DNNの潜在空間で観測されるテストデータセット内の分散度を測定する。 実験により,DNNを用いた画像分類タスクに関連する3つの一般的なベンチマークにおいて,LSCDはテストデータセットの欠陥を明らかにし,定量化することを示した。 自動ファジィによるコーナケースは,MSとLSCDで計算した元のテストセットの全体的な品質向上に有効である。 実験の結果,LSCDとMSでは0.87の相関がみられた。 これらの結果は、事前学習突然変異演算子によって生成された129の変異体から得られ、統計学的意義とコーナーケースの高い妥当性が得られた。 これらの観察から、LSCDは高価な突然変異検査に代わるコスト効率のよい代替品として機能し、DNNのテストデータセットの品質を比較検討しながらミュータントモデルを生成する必要がなくなることが示唆された。

関連論文リスト

• DNN-GDITD: Out-of-distribution detection via Deep Neural Network based Gaussian Descriptor for Imbalanced Tabular Data [3.3842496750884457]
  本研究では,DNN-GDITD(Deep Neural Network-based Gaussian Descriptor for Im Balanced Tabular Data)という新しいOOD検出アルゴリズムを提案する。 このアルゴリズムは任意のDNNの上に置かれ、球面決定境界を用いた不均衡データのより良い分類とOOD検出を容易にする。
  論文  参考訳（メタデータ） (2024-09-02T06:52:01Z)
• TEASMA: A Practical Methodology for Test Adequacy Assessment of Deep Neural Networks [4.528286105252983]
  TEASMAはDeep Neural Networksのテストセットの精度を正確に評価するために設計された包括的で実用的な方法論である。 遠隔ベースサプライズカバレッジ(DSC)、ライクフードベースサプライズカバレッジ(LSC)、入出力カバレッジ(IDC)、ミューテーションスコア(MS)の4つの測定値を用いてTEASMAを評価する。
  論文  参考訳（メタデータ） (2023-08-02T17:56:05Z)
• D-Score: A White-Box Diagnosis Score for CNNs Based on Mutation Operators [8.977819892091]
  畳み込みニューラルネットワーク(CNN)は、自律運転や診断など、多くの安全クリティカルな領域に広く応用されている。 そこで本研究では,変異演算子と画像変換を用いたホワイトボックス診断手法を提案する。 また,D-Scoreに基づくデータ拡張手法を提案し,CNNの性能を翻訳や再スケーリングに拡張する。
  論文  参考訳（メタデータ） (2023-04-03T03:13:59Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
  本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。 提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
  論文  参考訳（メタデータ） (2022-04-08T10:55:45Z)
• Statistical model-based evaluation of neural networks [74.10854783437351]
  ニューラルネットワーク(NN)の評価のための実験装置を開発する。 このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。 これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
  論文  参考訳（メタデータ） (2020-11-18T00:33:24Z)
• CovidDeep: SARS-CoV-2/COVID-19 Test Based on Wearable Medical Sensors and Efficient Neural Networks [51.589769497681175]
  新型コロナウイルス(SARS-CoV-2)がパンデミックを引き起こしている。 SARS-CoV-2の逆転写-ポリメラーゼ連鎖反応に基づく現在の試験体制は、試験要求に追いついていない。 我々は,効率的なDNNと市販のWMSを組み合わせたCovidDeepというフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-20T21:47:28Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。