論文の概要: Master's Thesis: Out-of-distribution Detection with Energy-based Models
- arxiv url: http://arxiv.org/abs/2302.12002v2
- Date: Fri, 24 Mar 2023 15:27:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 17:35:03.009027
- Title: Master's Thesis: Out-of-distribution Detection with Energy-based Models
- Title（参考訳）: masterの論文:エネルギーベースモデルによる分布外検出
- Authors: Sven Elflein
- Abstract要約: ディープラーニングは、自律運転や医療診断などのセキュリティ上重要な状況にますます適用されている。
研究者たちは先日、ニューラルネットワークがこれまで見たことのないデータであっても、予測に過度に自信を持っていることを発見しました。
本稿では,トレーニングデータ分布の整合化作業におけるEMMの能力について検討し,アウト・オブ・ディストリビューション(OOD)入力の検出を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Today, deep learning is increasingly applied in security-critical situations
such as autonomous driving and medical diagnosis. Despite its success, the
behavior and robustness of deep networks are not fully understood yet, posing a
significant risk. In particular, researchers recently found that neural
networks are overly confident in their predictions, even on data they have
never seen before. To tackle this issue, one can differentiate two approaches
in the literature. One accounts for uncertainty in the predictions, while the
second estimates the underlying density of the training data to decide whether
a given input is close to the training data, and thus the network is able to
perform as expected.In this thesis, we investigate the capabilities of EBMs at
the task of fitting the training data distribution to perform detection of
out-of-distribution (OOD) inputs. We find that on most datasets, EBMs do not
inherently outperform other density estimators at detecting OOD data despite
their flexibility. Thus, we additionally investigate the effects of
supervision, dimensionality reduction, and architectural modifications on the
performance of EBMs. Further, we propose Energy-Prior Network (EPN) which
enables estimation of various uncertainties within an EBM for classification,
bridging the gap between two approaches for tackling the OOD detection problem.
We identify a connection between the concentration parameters of the Dirichlet
distribution and the joint energy in an EBM. Additionally, this allows
optimization without a held-out OOD dataset, which might not be available or
costly to collect in some applications. Finally, we empirically demonstrate
that Energy-Prior Network (EPN) is able to detect OOD inputs, datasets shifts,
and adversarial examples. Theoretically, EPN offers favorable properties for
the asymptotic case when inputs are far from the training data.
- Abstract（参考訳）: 現在、ディープラーニングは、自動運転や医療診断のようなセキュリティクリティカルな状況にますます適用されている。
その成功にもかかわらず、ディープネットワークの振る舞いと堅牢性はまだ完全には理解されておらず、重大なリスクをもたらしている。
特に最近研究者たちは、ニューラルネットワークは、これまで見たことのないデータでも、その予測に過度に自信を持っていることを発見しました。
この問題に取り組むために、文献における2つのアプローチを区別することができる。
1つは予測の不確実性を考慮し、もう1つはトレーニングデータの基盤となる密度を推定し、与えられた入力がトレーニングデータに近いかどうかを判断し、ネットワークが期待通りに実行可能であることを示し、本論文では、トレーニングデータ分布を適合させるタスクにおけるebmsの能力を調査し、分散(ood)入力の検出を行う。
ほとんどのデータセットでは、EDMは柔軟性に拘わらず、OODデータの検出において、本質的に他の密度推定器よりも優れているわけではない。
そこで本研究では,ebmsの性能に対する監督,寸法削減,アーキテクチャ変更の影響についても検討した。
OOD検出問題に対処する2つのアプローチのギャップを埋め、EBM内の様々な不確かさを分類するために推定できるEnergy-Prior Network(EPN)を提案する。
EBMにおけるディリクレ分布の濃度パラメータと接合エネルギーとの間の関係を同定する。
さらに、一部のアプリケーションでは利用できない、あるいはコストのかかるOODデータセットを保持せずに最適化できる。
最後に, エネルギー優先ネットワーク (epn) がood入力, データセットシフト, 逆例として検出できることを実証的に示す。
理論的には、EPNは、入力がトレーニングデータから遠く離れた場合、漸近的ケースに対して好ましい特性を提供する。
関連論文リスト
- Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。
現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。
これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。
我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
論文 参考訳（メタデータ） (2023-02-21T21:31:20Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T22:04:19Z) - On Out-of-distribution Detection with Energy-based Models [38.87164384576751]
エネルギーベースモデル(EBM)はフレキシブルで非正規化密度モデルであり、この障害モードを改善することができる。
トレーニングアプローチとは無関係に, 監視やアーキテクチャ上の制約により, ESMのOOD検出が向上することを示す。
論文 参考訳（メタデータ） (2021-07-03T22:09:02Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳（メタデータ） (2020-12-05T17:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。