論文の概要: WOOD: Wasserstein-based Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2112.06384v1
• Date: Mon, 13 Dec 2021 02:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 15:26:09.198830
• Title: WOOD: Wasserstein-based Out-of-Distribution Detection
• Title（参考訳）: wood:wassersteinベースの分散検出
• Authors: Yinan Wang, Wenbo Sun, Jionghua "Judy" Jin, Zhenyu "James" Kong, Xiaowei Yue
• Abstract要約: ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。 トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。 本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
• 参考スコア（独自算出の注目度）: 6.163329453024915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training and test data for deep-neural-network-based classifiers are usually assumed to be sampled from the same distribution. When part of the test samples are drawn from a distribution that is sufficiently far away from that of the training samples (a.k.a. out-of-distribution (OOD) samples), the trained neural network has a tendency to make high confidence predictions for these OOD samples. Detection of the OOD samples is critical when training a neural network used for image classification, object detection, etc. It can enhance the classifier's robustness to irrelevant inputs, and improve the system resilience and security under different forms of attacks. Detection of OOD samples has three main challenges: (i) the proposed OOD detection method should be compatible with various architectures of classifiers (e.g., DenseNet, ResNet), without significantly increasing the model complexity and requirements on computational resources; (ii) the OOD samples may come from multiple distributions, whose class labels are commonly unavailable; (iii) a score function needs to be defined to effectively separate OOD samples from in-distribution (InD) samples. To overcome these challenges, we propose a Wasserstein-based out-of-distribution detection (WOOD) method. The basic idea is to define a Wasserstein-distance-based score that evaluates the dissimilarity between a test sample and the distribution of InD samples. An optimization problem is then formulated and solved based on the proposed score function. The statistical learning bound of the proposed method is investigated to guarantee that the loss value achieved by the empirical optimizer approximates the global optimum. The comparison study results demonstrate that the proposed WOOD consistently outperforms other existing OOD detection methods.
• Abstract（参考訳）: ディープニューラルネットワークに基づく分類器のトレーニングとテストデータは、通常同じ分布からサンプリングされる。 テストサンプルの一部が、トレーニングサンプル(ood(out-of-distribution)サンプル)から十分に離れた分布から引き出される場合、トレーニングされたニューラルネットワークは、これらのoodサンプルに対して高い信頼性の予測を行う傾向がある。 OODサンプルの検出は、画像分類やオブジェクト検出などに使われるニューラルネットワークをトレーニングする場合、極めて重要である。 これは、無関係な入力に対する分類器の堅牢性を高め、異なる形の攻撃の下でシステムのレジリエンスとセキュリティを向上させる。 OODサンプルの検出には3つの課題がある。 (i)提案したOOD検出方法は,計算資源の複雑さや要求を大幅に増大させることなく,分類器の様々なアーキテクチャ(例えば DenseNet や ResNet)と互換性を持つべきである。 (ii) OODサンプルは、一般的にクラスラベルが使用できない複数のディストリビューションから取得することができる。 3)OODサンプルをin-distriion (InD)サンプルから効果的に分離するためにスコア関数を定義する必要がある。 これらの課題を克服するため,我々はWasserstein-based Out-of-distriion Detection (WOOD)法を提案する。 基本的な考え方は、テストサンプルとInDサンプルの分布の相似性を評価するワッサーシュタイン距離に基づくスコアを定義することである。 そして、提案するスコア関数に基づいて最適化問題を定式化し、解く。 実験最適化器が達成した損失値が大域的最適値に近似することを保証するため,提案手法の統計的学習限界を検討した。 比較実験の結果,提案するWOODは既存のOOD検出方法よりも一貫して優れていることがわかった。

関連論文リスト

• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• Toward a Realistic Benchmark for Out-of-Distribution Detection [3.8038269045375515]
  我々は ImageNet と Places365 に基づく OOD 検出のための総合ベンチマークを導入する。 様々な特性を持つベンチマークを生成するために、どのクラスを配布中と考えるべきかを決定するために、いくつかのテクニックが使える。
  論文  参考訳（メタデータ） (2024-04-16T11:29:43Z)
• Detecting Out-of-Distribution Samples via Conditional Distribution Entropy with Optimal Transport [20.421338676377587]
  トレーニングサンプルとテストインプットの両方から幾何情報を含む経験的確率分布は,OOD検出に極めて有用である。 最適輸送の枠組みの中では,OODサンプルであるテスト入力の不確かさを定量化するため,エントロピー(enmphconditional distribution entropy)と呼ばれる新しいスコア関数を提案する。
  論文  参考訳（メタデータ） (2024-01-22T07:07:32Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Multiple Testing Framework for Out-of-Distribution Detection [27.248375922343616]
  本研究では,学習アルゴリズムの出力を推定時に信頼できるかどうかを検知するOOD(Out-of-Distribution)検出の問題について検討する。 我々は,OOD検出のための強力なテスト構築のための洞察を提供する,入力分布と学習アルゴリズムの両方を含むOOD概念の定義を提案する。
  論文  参考訳（メタデータ） (2022-06-20T00:56:01Z)
• Energy-bounded Learning for Robust Models of Code [16.592638312365164]
  プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。 本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
  論文  参考訳（メタデータ） (2021-12-20T06:28:56Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks [26.0303701309125]
  本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。 このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。 本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
  論文  参考訳（メタデータ） (2021-02-25T16:14:47Z)
• Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
  我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。 emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。 提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:04:44Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。