論文の概要: Models of Computational Profiles to Study the Likelihood of DNN Metamorphic Test Cases

• arxiv url: http://arxiv.org/abs/2107.13491v1
• Date: Wed, 28 Jul 2021 16:57:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-29 13:47:50.912493
• Title: Models of Computational Profiles to Study the Likelihood of DNN Metamorphic Test Cases
• Title（参考訳）: DNN変成テストケースの類似性を研究するための計算プロファイルモデル
• Authors: Ettore Merlo, Mira Marhaba, Foutse Khomh, Houssem Ben Braiek, Giuliano Antoniol
• Abstract要約: ニューロン活性化のベクターとして「計算プロファイル」を導入する。 トレーニングやテストケースにおける計算プロファイルの確率分布は,何らかの方法で類似していることが示される。 対照的に、メタモルフィックテストケースは、トレーニング、テスト、ランダムノイズに関して、広範囲にある予測可能性を示す。
• 参考スコア（独自算出の注目度）: 9.997379778870695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network test cases are meant to exercise different reasoning paths in an architecture and used to validate the prediction outcomes. In this paper, we introduce "computational profiles" as vectors of neuron activation levels. We investigate the distribution of computational profile likelihood of metamorphic test cases with respect to the likelihood distributions of training, test and error control cases. We estimate the non-parametric probability densities of neuron activation levels for each distinct output class. Probabilities are inferred using training cases only, without any additional knowledge about metamorphic test cases. Experiments are performed by training a network on the MNIST Fashion library of images and comparing prediction likelihoods with those obtained from error control-data and from metamorphic test cases. Experimental results show that the distributions of computational profile likelihood for training and test cases are somehow similar, while the distribution of the random-noise control-data is always remarkably lower than the observed one for the training and testing sets. In contrast, metamorphic test cases show a prediction likelihood that lies in an extended range with respect to training, tests, and random noise. Moreover, the presented approach allows the independent assessment of different training classes and experiments to show that some of the classes are more sensitive to misclassifying metamorphic test cases than other classes. In conclusion, metamorphic test cases represent very aggressive tests for neural network architectures. Furthermore, since metamorphic test cases force a network to misclassify those inputs whose likelihood is similar to that of training cases, they could also be considered as adversarial attacks that evade defenses based on computational profile likelihood evaluation.
• Abstract（参考訳）: ニューラルネットワークテストケースは、アーキテクチャ内の異なる推論パスを実行し、予測結果を検証するために使用される。 本稿では,ニューロン活性化レベルのベクトルとして "Computational Profiles" を導入する。 本研究では, トレーニング, テスト, エラー制御の確率分布について, 変成テストケースの計算プロファイルの確率分布について検討した。 各出力クラスごとにニューロン活性化レベルの非パラメトリック確率密度を推定する。 確率は、メタモルフィックテストケースに関する追加の知識なしで、トレーニングケースのみを使用して推測される。 画像のmnistファッションライブラリ上でネットワークをトレーニングし、エラー制御データおよびメタモルフィックテストケースから得られたものと予測可能性を比較して実験を行う。 実験の結果, トレーニングとテストケースにおける計算プロファイルの確率分布は何らかの類似性を示し, ランダムノイズ制御データの分布はトレーニングとテストセットの観測値よりも常に著しく低いことがわかった。 対照的に、メタモルフィックなテストケースは、トレーニング、テスト、ランダムノイズに関して拡張範囲にある予測可能性を示している。 さらに,提案手法により,異なるトレーニングクラスと実験を独立に評価することで,いくつかのクラスが他のクラスよりもメタモルフィックテストケースの誤分類に敏感であることを示すことができる。 結論として、メタモルフィックテストケースは、ニューラルネットワークアーキテクチャの非常に積極的なテストを表している。 さらに、メタモルフィックテストケースは、トレーニングケースと類似している可能性のある入力をネットワークに誤分類させるため、計算プロファイルの妥当性評価に基づいて防御を回避する敵攻撃とみなすこともできる。

関連論文リスト

• Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation [9.950524371154394]
  本研究では、教師なしの方法で訓練し、テスト時にモデルの誤特定を確実に検出できる新しい誤特定尺度を提案する。 提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:30:16Z)
• Robust Nonparametric Hypothesis Testing to Understand Variability in Training Neural Networks [5.8490454659691355]
  本稿では,閾値決定前のネットワークの出力に基づく分類モデル間の密接度の新しい尺度を提案する。 我々の測度は、頑健な仮説テストフレームワークに基づいており、訓練されたモデルから派生した他の量に適応することができる。
  論文  参考訳（メタデータ） (2023-10-01T01:44:35Z)
• On the Variance of Neural Network Training with respect to Test Sets and Distributions [1.994307489466967]
  標準のCIFAR-10とImageNetのトレーニングは、基礎となるテスト配信の性能にほとんどばらつきがないことを示す。 テストセットにおけるニューラルネットワークトレーニングのばらつきは,Jiangらによって発見されたクラス校正特性のダウンストリームの結果であることを示す。 本分析では, 分類ケースのばらつきを正確に予測する簡単な式を導出する。
  論文  参考訳（メタデータ） (2023-04-04T16:09:55Z)
• A Learning Based Hypothesis Test for Harmful Covariate Shift [3.1406146587437904]
  リスクの高いドメインの機械学習システムは、アウト・オブ・ディストリビューションテストの例で予測をすべきでないことを特定する必要がある。 本研究では、トレーニングデータに同意し、テストデータに同意するように訓練された分類器のアンサンブル間の不一致を利用して、モデルがデプロイ設定から削除されるかどうかを判断する。
  論文  参考訳（メタデータ） (2022-12-06T04:15:24Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
  新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。 標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。 原理的に部分観測可能なベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-12T20:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。