論文の概要: Generating and Detecting True Ambiguity: A Forgotten Danger in DNN
Supervision Testing
- arxiv url: http://arxiv.org/abs/2207.10495v2
- Date: Fri, 8 Sep 2023 05:57:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 18:59:03.802069
- Title: Generating and Detecting True Ambiguity: A Forgotten Danger in DNN
Supervision Testing
- Title（参考訳）: 真の曖昧さの生成と検出 - DNNスーパービジョンテストにおける忘れられた危険
- Authors: Michael Weiss, Andr\'e Garc\'ia G\'omez, Paolo Tonella
- Abstract要約: 本稿では,Deep Neural Networks (DNN) テストのための不明瞭な入力を生成する新しい手法を提案する。
特に,画像分類問題に対するあいまいなサンプルを生成するために,AmbiGuessを提案する。
真のあいまいさを検出するのに最も適した人は、無効、アウト・オブ・ディストリビューション、逆入力および逆逆入力において、より悪い結果が得られます。
- 参考スコア（独自算出の注目度）: 8.210473195536077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) are becoming a crucial component of modern
software systems, but they are prone to fail under conditions that are
different from the ones observed during training (out-of-distribution inputs)
or on inputs that are truly ambiguous, i.e., inputs that admit multiple classes
with nonzero probability in their labels. Recent work proposed DNN supervisors
to detect high-uncertainty inputs before their possible misclassification leads
to any harm. To test and compare the capabilities of DNN supervisors,
researchers proposed test generation techniques, to focus the testing effort on
high-uncertainty inputs that should be recognized as anomalous by supervisors.
However, existing test generators aim to produce out-of-distribution inputs. No
existing model- and supervisor independent technique targets the generation of
truly ambiguous test inputs, i.e., inputs that admit multiple classes according
to expert human judgment.
In this paper, we propose a novel way to generate ambiguous inputs to test
DNN supervisors and used it to empirically compare several existing supervisor
techniques. In particular, we propose AmbiGuess to generate ambiguous samples
for image classification problems. AmbiGuess is based on gradient-guided
sampling in the latent space of a regularized adversarial autoencoder.
Moreover, we conducted what is -- to the best of our knowledge -- the most
extensive comparative study of DNN supervisors, considering their capabilities
to detect 4 distinct types of high-uncertainty inputs, including truly
ambiguous ones. We find that the tested supervisors' capabilities are
complementary: Those best suited to detect true ambiguity perform worse on
invalid, out-of-distribution and adversarial inputs and vice-versa.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、現代のソフトウェアシステムにおいて重要なコンポーネントになりつつあるが、トレーニング中に観測されたものとは異なる状況や、真にあいまいな入力、すなわちラベルに0の確率を持たない複数のクラスを許容する入力で失敗する傾向がある。
近年のDNNスーパーバイザーは、誤分類が起こる前に不確実な入力を検出することを提案する。
DNNスーパーバイザーの能力をテストし比較するために、研究者はテスト生成技術を提案し、スーパーバイザーが異常と認識すべき高不確実性インプットに焦点を当てた。
しかし、既存のテストジェネレータは、分散インプットの生成を目指している。
既存のモデルおよび監督的独立技術は、真に曖昧なテストインプット、すなわち、専門家の人間の判断に従って複数のクラスを許容するインプットの生成をターゲットとしない。
本稿では,dnnスーパーバイザをテストするために,曖昧な入力を生成する新しい手法を提案し,既存のスーパーバイザ手法を経験的に比較する。
特に,画像分類問題に対するあいまいなサンプルを生成するためにAmbiGuessを提案する。
AmbiGuessは正規化対向オートエンコーダの潜在空間における勾配誘導サンプリングに基づいている。
さらに、我々は、dnnの監督者に対する最も広範な比較調査を行い、真にあいまいなものを含む4つの異なるタイプの高精度入力を検出する能力について検討した。
真のあいまいさを検出するのに最も適しているものは、不正で分散的でない入力や逆の入力や逆の入力に対してより悪い結果をもたらす。
関連論文リスト
- Generative Edge Detection with Stable Diffusion [52.870631376660924]
エッジ検出は一般的に、主に識別法によって対処されるピクセルレベルの分類問題と見なされる。
本稿では、事前学習した安定拡散モデルのポテンシャルを十分に活用して、GED(Generative Edge Detector)という新しい手法を提案する。
複数のデータセットに対して広範な実験を行い、競争性能を達成する。
論文 参考訳（メタデータ） (2024-10-04T01:52:23Z) - DeepSample: DNN sampling-based testing for operational accuracy assessment [12.029919627622954]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は、多くのソフトウェアシステムの分類および回帰タスクのコアコンポーネントである。
課題は、ラベリングコストを減らすために、可能な限り小さなテスト入力の代表的なセットを選択することである。
本研究では,費用対効果評価のためのDNNテスト技術のファミリーであるDeepSampleについて述べる。
論文 参考訳（メタデータ） (2024-03-28T09:56:26Z) - Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳（メタデータ） (2024-01-02T03:37:11Z) - Rethinking Diversity in Deep Neural Network Testing [25.641743200458382]
深層ニューラルネットワーク(DNN)のテストにおける視点の変化を提案する。
我々は、多様性に基づくテストタスクよりも、指向的なテスト問題としてDNNテストを考えることを提唱する。
評価の結果, 多様性指標は, 入力の摂動が小さいことによるバギーな入力を識別する指標として特に弱いことが示唆された。
論文 参考訳（メタデータ） (2023-05-25T04:13:51Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Uncertainty Quantification for Deep Neural Networks: An Empirical
Comparison and Usage Guidelines [4.987581730476023]
ディープニューラルネットワーク(DNN)は、複雑なデータを処理する必要がある大規模ソフトウェアシステムのコンポーネントとして、ますます利用されている。
不確実性推定によりスーパーバイザを実装するディープラーニングベースシステム(DLS)。
論文 参考訳（メタデータ） (2022-12-14T09:12:30Z) - W2N:Switching From Weak Supervision to Noisy Supervision for Object
Detection [64.10643170523414]
弱い監督からうるさい監督(W2N)に切り替える新しいパラダイムを持つ新しいWSODフレームワークを提案する。
ローカライズ適応モジュールでは、元の擬似接地構造における識別部分の割合を減らすために正規化損失を提案する。
我々のW2Nは、既存の純粋なWSODメソッドや転送学習メソッドよりも優れています。
論文 参考訳（メタデータ） (2022-07-25T12:13:48Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-08T07:40:55Z) - Distribution-Aware Testing of Neural Networks Using Generative Models [5.618419134365903]
ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、緊急に重要である。
最近の3つのテスト手法が, かなりの数の不正なテスト入力を生成することを示す。
テスト生成プロセスにおいて,テスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
論文 参考訳（メタデータ） (2021-02-26T17:18:21Z) - Fail-Safe Execution of Deep Learning based Systems through Uncertainty
Monitoring [4.56877715768796]
フェールセーフなディープラーニングベースシステム(DLS)は、スーパーバイザーによってDNNの障害を処理する。
本稿では,DNNの不確実性推定器を用いて,そのようなスーパーバイザを実装する手法を提案する。
通常のtf.keras DNNに対する不確かさを透過的に推定できるツールUNCERTAINTY-WIZARDについて述べる。
論文 参考訳（メタデータ） (2021-02-01T15:22:54Z) - A Survey on Assessing the Generalization Envelope of Deep Neural
Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。
入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。
本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
論文 参考訳（メタデータ） (2020-08-21T09:12:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。