論文の概要: Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective

• arxiv url: http://arxiv.org/abs/2310.14227v1
• Date: Sun, 22 Oct 2023 08:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 01:04:54.196529
• Title: Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
• Title（参考訳）: 分布外検出のための深層アンサンブルの再検討--ロスランドスケープの観点から
• Authors: Kun Fang, Qinghua Tao, Xiaolin Huang and Jie Yang
• Abstract要約: In-Distribution Data(InD)からOoDサンプルを検出するOoD検出手法 我々は,OoD検出における損失景観とモードアンサンブルの新しい視点を提案する。
• 参考スコア（独自算出の注目度）: 31.18436604272369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Out-of-Distribution (OoD) detection methods address to detect OoD samples from In-Distribution data (InD) mainly by exploring differences in features, logits and gradients in Deep Neural Networks (DNNs). We in this work propose a new perspective upon loss landscape and mode ensemble to investigate OoD detection. In the optimization of DNNs, there exist many local optima in the parameter space, or namely modes. Interestingly, we observe that these independent modes, which all reach low-loss regions with InD data (training and test data), yet yield significantly different loss landscapes with OoD data. Such an observation provides a novel view to investigate the OoD detection from the loss landscape and further suggests significantly fluctuating OoD detection performance across these modes. For instance, FPR values of the RankFeat method can range from 46.58% to 84.70% among 5 modes, showing uncertain detection performance evaluations across independent modes. Motivated by such diversities on OoD loss landscape across modes, we revisit the deep ensemble method for OoD detection through mode ensemble, leading to improved performance and benefiting the OoD detector with reduced variances. Extensive experiments covering varied OoD detectors and network structures illustrate high variances across modes and also validate the superiority of mode ensemble in boosting OoD detection. We hope this work could attract attention in the view of independent modes in the OoD loss landscape and more reliable evaluations on OoD detectors.
• Abstract（参考訳）: In-Distribution Data(InD)からOoDサンプルを検出する既存のOoD検出手法は、主にDeep Neural Networks(DNN)の機能、ロジット、勾配の違いを探索する。 本研究では,OoD検出における損失景観とモードアンサンブルの新しい視点を提案する。 DNNの最適化では、パラメータ空間やモードに多くの局所最適化が存在する。 興味深いことに、これらの独立モードは、すべてindデータ(トレーニングとテストデータ)で低損失領域に達するが、oodデータではかなり異なるロスランドスケープをもたらす。 このような観察は、ロスランドスケープからood検出を調べるための新しい視点を提供し、さらにこれらのモードをまたいでood検出性能が著しく変動することを示唆している。 例えば、RopFeatメソッドのFPR値は5つのモードで46.58%から84.70%まで変化し、独立モード間で不確実な検出性能評価を示す。 モード間におけるOoD損失ランドスケープの多様化により,モードアンサンブルによるOoD検出の深層アンサンブル法が再検討され,性能が向上し,ばらつきを低減したOoD検出器が有用となった。 様々なood検出器とネットワーク構造をカバーする広範囲な実験は、モード間で高いばらつきを示し、ood検出の促進におけるモードアンサンブルの優位性を検証する。 我々は、この研究がOoD損失ランドスケープの独立モードやOoD検出器の信頼性の高い評価の観点から注目されることを期待している。

関連論文リスト

• Beyond Perceptual Distances: Rethinking Disparity Assessment for Out-of-Distribution Detection with Diffusion Models [28.96695036746856]
  Out-of-Distribution (OoD) 検出は、与えられたサンプルが分類器アンダープロテクションのトレーニング分布からのものであるかどうかを正当化することを目的としている。 DMベースの手法は、この分野に新たな洞察をもたらすが、未調査のままである。 本研究は、DM法における最先端検出性能を広範囲にわたる実験で実証した。
  論文  参考訳（メタデータ） (2024-09-16T08:50:47Z)
• On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms [6.7236795813629]
  我々はフォワードフォワードアルゴリズム(FFA)を用いたOoD(Out-of-Distribution)検出のための新しいアルゴリズムを開発した。 提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。 また,任意のクラスの分布から遠ざかるサンプルの特徴を強調表示するグラデーションフリー属性手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T08:08:17Z)
• Interpretable Out-Of-Distribution Detection Using Pattern Identification [0.0]
  データベースプログラムのアウト・オブ・ディストリビューション(OoD)検出は最重要課題である。 文献における一般的なアプローチは、イン・オブ・ディストリビューション(in-distriion、IoD)とOoDバリデーション・サンプルを必要とする検出器を訓練する傾向がある。 我々は、より解釈可能で堅牢なOoD検出器を構築するために、説明可能なAI、すなわちPartialulパターン識別アルゴリズムから既存の研究を活用することを提案する。
  論文  参考訳（メタデータ） (2023-01-24T15:35:54Z)
• The role of noise in denoising models for anomaly detection in medical images [62.0532151156057]
  病理脳病変は脳画像に多彩な外観を示す。 正規データのみを用いた教師なし異常検出手法が提案されている。 空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-01-19T21:39:38Z)
• Raising the Bar on the Evaluation of Out-of-Distribution Detection [88.70479625837152]
  我々は、知覚/視覚的・意味的類似性の概念をiDデータと微妙に異なる概念を用いて、OoDデータの2つのカテゴリを定義した。 iD データセットが与えられた2つのカテゴリそれぞれから OoD サンプルを生成するための GAN ベースのフレームワークを提案する。 従来のベンチマークで非常によく機能する最先端のOoD検出手法は,提案したベンチマークよりもはるかに堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-24T08:48:36Z)
• Benchmarking Deep Models for Salient Object Detection [67.07247772280212]
  汎用SALOD(General SALient Object Detection)ベンチマークを構築し,複数のSOD手法の総合的な比較を行った。 以上の実験では、既存の損失関数は、通常いくつかの指標に特化しているが、他の指標には劣る結果が報告されている。 我々は,深層ネットワークに画素レベルと画像レベルの両方の監視信号を統合することにより,より識別的な特徴を学習するためのエッジ・アウェア・ロス(EA)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T03:43:16Z)
• Entropy Maximization and Meta Classification for Out-Of-Distribution Detection in Semantic Segmentation [7.305019142196585]
  自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。 OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。 そのアプローチを大幅に改善する2段階の手順を提案する。
  論文  参考訳（メタデータ） (2020-12-09T11:01:06Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。