論文の概要: Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
- arxiv url: http://arxiv.org/abs/2310.14227v2
- Date: Tue, 16 Jul 2024 01:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 00:00:40.088459
- Title: Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
- Title（参考訳）: アウト・オブ・ディストリビューション検出のためのディープ・アンサンブルの再検討:失われた景観の展望
- Authors: Kun Fang, Qinghua Tao, Xiaolin Huang, Jie Yang,
- Abstract要約: Out-of-Distribution (OoD) は、In-Distribution (InD) データからOoDサンプルを検出する方法である。
我々は,OoD検出における損失景観とモードアンサンブルの新しい視点を提案する。
- 参考スコア（独自算出の注目度）: 28.545919238058982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Out-of-Distribution (OoD) detection methods address to detect OoD samples from In-Distribution (InD) data mainly by exploring differences in features, logits and gradients in Deep Neural Networks (DNNs). We in this work propose a new perspective upon loss landscape and mode ensemble to investigate OoD detection. In the optimization of DNNs, there exist many local optima in the parameter space, or namely modes. Interestingly, we observe that these independent modes, which all reach low-loss regions with InD data (training and test data), yet yield significantly different loss landscapes with OoD data. Such an observation provides a novel view to investigate the OoD detection from the loss landscape, and further suggests significantly fluctuating OoD detection performance across these modes. For instance, FPR values of the RankFeat method can range from 46.58% to 84.70% among 5 modes, showing uncertain detection performance evaluations across independent modes. Motivated by such diversities on OoD loss landscape across modes, we revisit the deep ensemble method for OoD detection through mode ensemble, leading to improved performance and benefiting the OoD detector with reduced variances. Extensive experiments covering varied OoD detectors and network structures illustrate high variances across modes and validate the superiority of mode ensemble in boosting OoD detection. We hope this work could attract attention in the view of independent modes in the loss landscape of OoD data and more reliable evaluations on OoD detectors.
- Abstract（参考訳）: In-Distribution(In-Distribution(InD)データからOoDサンプルを検出する既存のOoD検出手法は,Deep Neural Networks(DNNs)の特徴,ロジット,勾配の差を主に探究する。
本研究では,OoD検出における損失景観とモードアンサンブルの新しい視点を提案する。
DNNの最適化では、パラメータ空間やモードに多くの局所最適化が存在する。
興味深いことに、これらの独立モードはInDデータ(トレーニングとテストデータ)で低損失領域に到達するが、OoDデータでは損失ランドスケープが著しく異なる。
このような観察は、損失ランドスケープからのOoD検出を調査するための新しい視点を提供し、さらに、これらのモード間でのOoD検出性能を著しく変動させることを示唆している。
例えば、RopFeatメソッドのFPR値は5つのモードのうち46.58%から84.70%まで変化し、独立モード間で不確実な検出性能評価を示す。
モード間におけるOoD損失ランドスケープの多様化により,モードアンサンブルによるOoD検出の深層アンサンブル法が再検討され,性能が向上し,ばらつきを低減したOoD検出器のメリットが得られた。
様々なOoD検出器とネットワーク構造を包含する広範囲な実験は、モード間の高いばらつきを示し、OOD検出を促進するモードアンサンブルの優位性を検証する。
我々は、OoDデータのロスランドスケープにおける独立モードや、OoD検出器の信頼性の高い評価の観点から、この研究が注目されることを期待している。
関連論文リスト
- Leveraging Intermediate Representations for Better Out-of-Distribution Detection [3.903824667492754]
現実世界のアプリケーションでは、機械学習モデルは、安全でない決定を防ぐために、確実にアウト・オブ・ディストリビューション(OoD)サンプルを検出しなければなりません。
中間層の識別能力を分析し,OoD検出に有効であることを示す。
複数のデータセットにまたがって総合的な評価を行うことで,中間層アクティベーションによりOoD検出性能が向上することを示す。
論文 参考訳（メタデータ） (2025-02-18T13:38:19Z) - Beyond Perceptual Distances: Rethinking Disparity Assessment for Out-of-Distribution Detection with Diffusion Models [28.96695036746856]
Out-of-Distribution (OoD) 検出は、与えられたサンプルが分類器アンダープロテクションのトレーニング分布からのものであるかどうかを正当化することを目的としている。
DMベースの手法は、この分野に新たな洞察をもたらすが、未調査のままである。
本研究は、DM法における最先端検出性能を広範囲にわたる実験で実証した。
論文 参考訳（メタデータ） (2024-09-16T08:50:47Z) - Interpretable Out-Of-Distribution Detection Using Pattern Identification [0.0]
データベースプログラムのアウト・オブ・ディストリビューション(OoD)検出は最重要課題である。
文献における一般的なアプローチは、イン・オブ・ディストリビューション(in-distriion、IoD)とOoDバリデーション・サンプルを必要とする検出器を訓練する傾向がある。
我々は、より解釈可能で堅牢なOoD検出器を構築するために、説明可能なAI、すなわちPartialulパターン識別アルゴリズムから既存の研究を活用することを提案する。
論文 参考訳（メタデータ） (2023-01-24T15:35:54Z) - The role of noise in denoising models for anomaly detection in medical
images [62.0532151156057]
病理脳病変は脳画像に多彩な外観を示す。
正規データのみを用いた教師なし異常検出手法が提案されている。
空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
論文 参考訳（メタデータ） (2023-01-19T21:39:38Z) - Raising the Bar on the Evaluation of Out-of-Distribution Detection [88.70479625837152]
我々は、知覚/視覚的・意味的類似性の概念をiDデータと微妙に異なる概念を用いて、OoDデータの2つのカテゴリを定義した。
iD データセットが与えられた2つのカテゴリそれぞれから OoD サンプルを生成するための GAN ベースのフレームワークを提案する。
従来のベンチマークで非常によく機能する最先端のOoD検出手法は,提案したベンチマークよりもはるかに堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-24T08:48:36Z) - Benchmarking Deep Models for Salient Object Detection [67.07247772280212]
汎用SALOD(General SALient Object Detection)ベンチマークを構築し,複数のSOD手法の総合的な比較を行った。
以上の実験では、既存の損失関数は、通常いくつかの指標に特化しているが、他の指標には劣る結果が報告されている。
我々は,深層ネットワークに画素レベルと画像レベルの両方の監視信号を統合することにより,より識別的な特徴を学習するためのエッジ・アウェア・ロス(EA)を提案する。
論文 参考訳（メタデータ） (2022-02-07T03:43:16Z) - Entropy Maximization and Meta Classification for Out-Of-Distribution
Detection in Semantic Segmentation [7.305019142196585]
自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。
OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。
そのアプローチを大幅に改善する2段階の手順を提案する。
論文 参考訳（メタデータ） (2020-12-09T11:01:06Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳（メタデータ） (2020-06-11T17:39:07Z) - Generalized ODIN: Detecting Out-of-distribution Image without Learning
from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。
具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。
大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文 参考訳（メタデータ） (2020-02-26T04:18:25Z) - Simple and Effective Prevention of Mode Collapse in Deep One-Class
Classification [93.2334223970488]
深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。
第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。
第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
論文 参考訳（メタデータ） (2020-01-24T03:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。