論文の概要: Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
- arxiv url: http://arxiv.org/abs/2310.14227v2
- Date: Tue, 16 Jul 2024 01:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 00:00:40.088459
- Title: Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
- Title(参考訳): アウト・オブ・ディストリビューション検出のためのディープ・アンサンブルの再検討:失われた景観の展望
- Authors: Kun Fang, Qinghua Tao, Xiaolin Huang, Jie Yang,
- Abstract要約: Out-of-Distribution (OoD) は、In-Distribution (InD) データからOoDサンプルを検出する方法である。
我々は,OoD検出における損失景観とモードアンサンブルの新しい視点を提案する。
- 参考スコア(独自算出の注目度): 28.545919238058982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Out-of-Distribution (OoD) detection methods address to detect OoD samples from In-Distribution (InD) data mainly by exploring differences in features, logits and gradients in Deep Neural Networks (DNNs). We in this work propose a new perspective upon loss landscape and mode ensemble to investigate OoD detection. In the optimization of DNNs, there exist many local optima in the parameter space, or namely modes. Interestingly, we observe that these independent modes, which all reach low-loss regions with InD data (training and test data), yet yield significantly different loss landscapes with OoD data. Such an observation provides a novel view to investigate the OoD detection from the loss landscape, and further suggests significantly fluctuating OoD detection performance across these modes. For instance, FPR values of the RankFeat method can range from 46.58% to 84.70% among 5 modes, showing uncertain detection performance evaluations across independent modes. Motivated by such diversities on OoD loss landscape across modes, we revisit the deep ensemble method for OoD detection through mode ensemble, leading to improved performance and benefiting the OoD detector with reduced variances. Extensive experiments covering varied OoD detectors and network structures illustrate high variances across modes and validate the superiority of mode ensemble in boosting OoD detection. We hope this work could attract attention in the view of independent modes in the loss landscape of OoD data and more reliable evaluations on OoD detectors.
- Abstract(参考訳): In-Distribution(In-Distribution(InD)データからOoDサンプルを検出する既存のOoD検出手法は,Deep Neural Networks(DNNs)の特徴,ロジット,勾配の差を主に探究する。
本研究では,OoD検出における損失景観とモードアンサンブルの新しい視点を提案する。
DNNの最適化では、パラメータ空間やモードに多くの局所最適化が存在する。
興味深いことに、これらの独立モードはInDデータ(トレーニングとテストデータ)で低損失領域に到達するが、OoDデータでは損失ランドスケープが著しく異なる。
このような観察は、損失ランドスケープからのOoD検出を調査するための新しい視点を提供し、さらに、これらのモード間でのOoD検出性能を著しく変動させることを示唆している。
例えば、RopFeatメソッドのFPR値は5つのモードのうち46.58%から84.70%まで変化し、独立モード間で不確実な検出性能評価を示す。
モード間におけるOoD損失ランドスケープの多様化により,モードアンサンブルによるOoD検出の深層アンサンブル法が再検討され,性能が向上し,ばらつきを低減したOoD検出器のメリットが得られた。
様々なOoD検出器とネットワーク構造を包含する広範囲な実験は、モード間の高いばらつきを示し、OOD検出を促進するモードアンサンブルの優位性を検証する。
我々は、OoDデータのロスランドスケープにおける独立モードや、OoD検出器の信頼性の高い評価の観点から、この研究が注目されることを期待している。
関連論文リスト
- On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms [6.7236795813629]
我々はフォワードフォワードアルゴリズム(FFA)を用いたOoD(Out-of-Distribution)検出のための新しいアルゴリズムを開発した。
提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。
また,任意のクラスの分布から遠ざかるサンプルの特徴を強調表示するグラデーションフリー属性手法を提案する。
論文 参考訳(メタデータ) (2024-07-19T08:08:17Z) - SEE-OoD: Supervised Exploration For Enhanced Out-of-Distribution
Detection [11.05254400092658]
我々は,OoD検出精度を高めるために,ワッサースタインスコアを用いた生成逆学習手法を提案する。
具体的には、このジェネレータはOoD空間を探索し、識別器からのフィードバックを用いて合成OoDサンプルを生成する。
提案手法は,様々なコンピュータビジョンデータセットにおける最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-12T05:20:18Z) - Interpretable Out-Of-Distribution Detection Using Pattern Identification [0.0]
データベースプログラムのアウト・オブ・ディストリビューション(OoD)検出は最重要課題である。
文献における一般的なアプローチは、イン・オブ・ディストリビューション(in-distriion、IoD)とOoDバリデーション・サンプルを必要とする検出器を訓練する傾向がある。
我々は、より解釈可能で堅牢なOoD検出器を構築するために、説明可能なAI、すなわちPartialulパターン識別アルゴリズムから既存の研究を活用することを提案する。
論文 参考訳(メタデータ) (2023-01-24T15:35:54Z) - The role of noise in denoising models for anomaly detection in medical
images [62.0532151156057]
病理脳病変は脳画像に多彩な外観を示す。
正規データのみを用いた教師なし異常検出手法が提案されている。
空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
論文 参考訳(メタデータ) (2023-01-19T21:39:38Z) - Raising the Bar on the Evaluation of Out-of-Distribution Detection [88.70479625837152]
我々は、知覚/視覚的・意味的類似性の概念をiDデータと微妙に異なる概念を用いて、OoDデータの2つのカテゴリを定義した。
iD データセットが与えられた2つのカテゴリそれぞれから OoD サンプルを生成するための GAN ベースのフレームワークを提案する。
従来のベンチマークで非常によく機能する最先端のOoD検出手法は,提案したベンチマークよりもはるかに堅牢であることを示す。
論文 参考訳(メタデータ) (2022-09-24T08:48:36Z) - Benchmarking Deep Models for Salient Object Detection [67.07247772280212]
汎用SALOD(General SALient Object Detection)ベンチマークを構築し,複数のSOD手法の総合的な比較を行った。
以上の実験では、既存の損失関数は、通常いくつかの指標に特化しているが、他の指標には劣る結果が報告されている。
我々は,深層ネットワークに画素レベルと画像レベルの両方の監視信号を統合することにより,より識別的な特徴を学習するためのエッジ・アウェア・ロス(EA)を提案する。
論文 参考訳(メタデータ) (2022-02-07T03:43:16Z) - Entropy Maximization and Meta Classification for Out-Of-Distribution
Detection in Semantic Segmentation [7.305019142196585]
自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。
OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。
そのアプローチを大幅に改善する2段階の手順を提案する。
論文 参考訳(メタデータ) (2020-12-09T11:01:06Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳(メタデータ) (2020-06-11T17:39:07Z) - Generalized ODIN: Detecting Out-of-distribution Image without Learning
from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。
具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。
大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文 参考訳(メタデータ) (2020-02-26T04:18:25Z) - Simple and Effective Prevention of Mode Collapse in Deep One-Class
Classification [93.2334223970488]
深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。
第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。
第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
論文 参考訳(メタデータ) (2020-01-24T03:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。