論文の概要: Addressing Randomness in Evaluation Protocols for Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2203.00382v1
• Date: Tue, 1 Mar 2022 12:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 18:46:58.018721
• Title: Addressing Randomness in Evaluation Protocols for Out-of-Distribution Detection
• Title（参考訳）: 分散検出のための評価プロトコルにおけるランダム性に対処する
• Authors: Konstantin Kirchheim, Tim Gonschorek, Frank Ortmeier
• Abstract要約: 分類のためのディープニューラルネットワークは、トレーニング分布に起因しない入力に直面すると予測不可能に振る舞う。 我々は,現在のプロトコルが OOD 手法の期待性能を信頼できないことを示す。 ランダム性に対処するモンテカルロ法を用いてOOD法の性能を推定する。
• 参考スコア（独自算出の注目度）: 1.8047694351309207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks for classification behave unpredictably when confronted with inputs not stemming from the training distribution. This motivates out-of-distribution detection (OOD) mechanisms. The usual lack of prior information on out-of-distribution data renders the performance estimation of detection approaches on unseen data difficult. Several contemporary evaluation protocols are based on open set simulations, which average the performance over up to five synthetic random splits of a dataset into in- and out-of-distribution samples. However, the number of possible splits may be much larger, and the performance of Deep Neural Networks is known to fluctuate significantly depending on different sources of random variation. We empirically demonstrate that current protocols may fail to provide reliable estimates of the expected performance of OOD methods. By casting this evaluation as a random process, we generalize the concept of open set simulations and propose to estimate the performance of OOD methods using a Monte Carlo approach that addresses the randomness.
• Abstract（参考訳）: 分類のためのディープニューラルネットワークは、トレーニング分布から生じる入力に直面すると予測不可能に振る舞う。 これはアウト・オブ・ディストリビューション検出(OOD)機構を動機付けている。 分布外データに関する事前情報がない場合,検出手法の性能評価が困難となる。 現代のいくつかの評価プロトコルはオープンセットシミュレーションに基づいており、データセットの最大5つの合成ランダムスプリットのパフォーマンスを、分散サンプルと分散サンプルに平均している。 しかし、考えられる分割の数ははるかに多くなり、Deep Neural Networksの性能は、異なるランダムな変動源によって大きく変動することが知られている。 我々は,現在のプロトコルがOOD法の性能を推定できないことを実証的に実証した。 この評価をランダムなプロセスとしてキャストすることにより、オープンセットシミュレーションの概念を一般化し、ランダム性に対処するモンテカルロ法を用いてOOD法の性能を推定する。

関連論文リスト

• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
  ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。 トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。 本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:35:15Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks [26.0303701309125]
  本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。 このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。 本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
  論文  参考訳（メタデータ） (2021-02-25T16:14:47Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Out-of-distribution detection for regression tasks: parameter versus predictor entropy [2.026281591452464]
  マシンラーニングモデルが信頼されるためのトレーニングサンプルから、インスタンスが正しく外れていることを検出することが重要です。 ニューラルネットワークの場合、このタスクの1つのアプローチは、トレーニングデータを説明することができる予測子の多様性を学習することである。 そこで本研究では,関数空間に近接する隣接点に基づく予測器上の分布のエントロピーを推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-24T21:41:21Z)
• Conformal Prediction Intervals for Neural Networks Using Cross Validation [0.0]
  ニューラルネットワークは、教師付き学習問題に対処するために使用される最も強力な非線形モデルの一つである。 ニューラルネットワークの予測区間を$k$-foldのクロスバリデーションに基づいて構築するための$k$-fold予測区間法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T16:23:28Z)
• Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts [33.45069308137142]
  Posterior Network (PostNet) は、任意のサンプルに対する予測確率よりも、個々の閉形式後部分布を予測する。 PostNetは、OODの検出とデータセットシフトによる不確実なキャリブレーションにおいて、最先端の成果を達成する。
  論文  参考訳（メタデータ） (2020-06-16T15:16:32Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。