論文の概要: Energy-based Out-of-distribution Detection
- arxiv url: http://arxiv.org/abs/2010.03759v4
- Date: Mon, 26 Apr 2021 04:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 11:23:26.857711
- Title: Energy-based Out-of-distribution Detection
- Title(参考訳): エネルギーに基づく分布外検出
- Authors: Weitang Liu, Xiaoyun Wang, John D. Owens, Yixuan Li
- Abstract要約: エネルギースコアを用いたOOD検出のための統合フレームワークを提案する。
エネルギースコアは従来の手法よりも分布内と分布外を区別した方がよいことを示す。
エネルギーベースのトレーニングでは、我々の手法は一般的なベンチマークで最先端の手法よりも優れています。
- 参考スコア(独自算出の注目度): 24.320646820385065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Determining whether inputs are out-of-distribution (OOD) is an essential
building block for safely deploying machine learning models in the open world.
However, previous methods relying on the softmax confidence score suffer from
overconfident posterior distributions for OOD data. We propose a unified
framework for OOD detection that uses an energy score. We show that energy
scores better distinguish in- and out-of-distribution samples than the
traditional approach using the softmax scores. Unlike softmax confidence
scores, energy scores are theoretically aligned with the probability density of
the inputs and are less susceptible to the overconfidence issue. Within this
framework, energy can be flexibly used as a scoring function for any
pre-trained neural classifier as well as a trainable cost function to shape the
energy surface explicitly for OOD detection. On a CIFAR-10 pre-trained
WideResNet, using the energy score reduces the average FPR (at TPR 95%) by
18.03% compared to the softmax confidence score. With energy-based training,
our method outperforms the state-of-the-art on common benchmarks.
- Abstract(参考訳): 入力がアウト・オブ・ディストリビューション(OOD)かどうかを決定することは、オープンな世界で機械学習モデルを安全にデプロイするための重要なビルディングブロックである。
しかし,従来のソフトマックス信頼性スコアに依存する手法は,OODデータに対する過信後分布に悩まされている。
エネルギースコアを用いたOOD検出のための統合フレームワークを提案する。
エネルギースコアは,ソフトマックススコアを用いた従来の手法よりも,分布内サンプルと分布外サンプルの区別が良好であることを示す。
ソフトマックス信頼度スコアとは異なり、エネルギースコアは理論上は入力の確率密度と一致しており、過信頼問題に対する影響を受けにくい。
この枠組み内では、OOD検出のためにエネルギー表面を明示的に形成するための訓練可能なコスト関数と同様に、任意のトレーニング済みニューラルネットワーク分類器のスコア関数として、エネルギーを柔軟に使用することができる。
CIFAR-10のトレーニング済みWideResNetでは、エネルギースコアを使用して平均FPR(TPR 95%)をソフトマックスの信頼性スコアと比較して18.03%削減する。
エネルギーベースのトレーニングでは、我々の手法は一般的なベンチマークで最先端よりも優れています。
関連論文リスト
- ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection [41.41164637577005]
ポストホックアウト・オブ・ディストリビューション(OOD)検出は、信頼性の高い機械学習において大きな注目を集めている。
本稿では,密度に基づくスコア設計の統一的な視点を提供するために,Bregmanの発散に基づく理論的枠組みを提案する。
我々は,提案するtextscConjNormが,様々なOOD検出設定において,新たな最先端技術を確立したことを示す。
論文 参考訳(メタデータ) (2024-02-27T21:02:47Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - Disentangling Confidence Score Distribution for Out-of-Domain Intent
Detection with Energy-Based Learning [40.96874034407684]
我々は,OODサンプルのエネルギースコアがINDサンプルよりも高いOODを検出するための,シンプルだが強力なエネルギーベーススコア関数を提案する。
本手法の総合実験と解析は,INDおよびOODデータの信頼度分布のアンタングル化に有効であることを示す。
論文 参考訳(メタデータ) (2022-10-17T08:19:01Z) - RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection [65.67315418971688]
textttRankFeat は OOD 検出のためのシンプルだが効果的な textttpost hoc アプローチである。
textttRankFeatは、Emphstate-of-the-artパフォーマンスを実現し、以前のベストメソッドと比較して平均偽陽性率(FPR95)を17.90%削減する。
論文 参考訳(メタデータ) (2022-09-18T16:01:31Z) - Distribution Calibration for Out-of-Domain Detection with Bayesian
Approximation [35.34001858858684]
Out-of-Domain (OOD) はタスク指向のダイアログシステムにおいて重要なコンポーネントである。
従来のソフトマックスに基づく検出アルゴリズムは、OODサンプルに対して過信的であることが証明されている。
我々は,モンテカルロ・ドロップアウトを用いた分布不確実性校正のためのベイズOOD検出フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-14T13:04:09Z) - Semantic Driven Energy based Out-of-Distribution Detection [0.4640835690336652]
エネルギーベースのOOD法は有望であり、優れた性能を発揮することが証明されている。
本稿では,エンドツーエンドのトレーニングシステムであり,最適化が容易なセマンティックなエネルギーベース手法を提案する。
その結果,我々の新しい手法は,一般的なベンチマーク上でのエネルギーベースモデルとして,外乱検出を強化し,最先端のモデルを実現する。
論文 参考訳(メタデータ) (2022-08-23T07:40:34Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳(メタデータ) (2022-06-20T16:32:49Z) - Energy-based Unknown Intent Detection with Data Manipulation [48.76465739088016]
未知の意図検出は、トレーニングセットに意図が現れていない配布外発話を特定することを目的としている。
本稿では,エネルギースコアが入力の密度と理論的に一致していることから,このタスクにエネルギースコアを用いることを提案する。
論文 参考訳(メタデータ) (2021-07-27T01:32:23Z) - Understanding Softmax Confidence and Uncertainty [95.71801498763216]
トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。
しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。
本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
論文 参考訳(メタデータ) (2021-06-09T10:37:29Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - Unsupervised Energy-based Out-of-distribution Detection using
Stiefel-Restricted Kernel Machine [13.345005810199181]
Stiefel-Restricted Kernel Machine(St-RKM)を活用した非監視型エネルギーベースOOD検出器の提案
標準データセットの実験では、提案手法は既存のエネルギーベースのOOD検出器とディープジェネレーションモデルよりも改善される。
論文 参考訳(メタデータ) (2021-02-16T20:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。