論文の概要: Can Dense Connectivity Benefit Outlier Detection? An Odyssey with NAS

• arxiv url: http://arxiv.org/abs/2406.01975v1
• Date: Tue, 4 Jun 2024 05:19:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:50:34.225515
• Title: Can Dense Connectivity Benefit Outlier Detection? An Odyssey with NAS
• Title（参考訳）: ディエンス接続性はアウトレーヤ検出に相応しいか? : NASとのオデュッセイ
• Authors: Hao Fu, Tunhou Zhang, Hai Li, Yiran Chen,
• Abstract要約: 我々は、外乱検出器のDense Connectivity Search(DCSOD)という新しいパラダイムを提案する。 ニューラルアーキテクチャサーチ(NAS)を用いた近OOD検出タスクにおけるCNNアーキテクチャの密結合性の自動探索 我々は,広く使用されているアーキテクチャや以前のNASベースラインに対して,DCSODが優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 15.367958488787107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Out-of-Distribution (OOD) Detection is the driving force behind safe and reliable deployment of Convolutional Neural Networks (CNNs) in real world applications. However, existing studies focus on OOD detection through confidence score and deep generative model-based methods, without considering the impact of DNN structures, especially dense connectivity in architecture fabrications. In addition, existing outlier detection approaches exhibit high variance in generalization performance, lacking stability and confidence in evaluating and ranking different outlier detectors. In this work, we propose a novel paradigm, Dense Connectivity Search of Outlier Detector (DCSOD), that automatically explore the dense connectivity of CNN architectures on near-OOD detection task using Neural Architecture Search (NAS). We introduce a hierarchical search space containing versatile convolution operators and dense connectivity, allowing a flexible exploration of CNN architectures with diverse connectivity patterns. To improve the quality of evaluation on OOD detection during search, we propose evolving distillation based on our multi-view feature learning explanation. Evolving distillation stabilizes training for OOD detection evaluation, thus improves the quality of search. We thoroughly examine DCSOD on CIFAR benchmarks under OOD detection protocol. Experimental results show that DCSOD achieve remarkable performance over widely used architectures and previous NAS baselines. Notably, DCSOD achieves state-of-the-art (SOTA) performance on CIFAR benchmark, with AUROC improvement of $\sim$1.0%.
• Abstract（参考訳）: 近年のOOD(Out-of-Distribution)検出の進歩は,CNN(Convolutional Neural Networks)を現実世界のアプリケーションに安全かつ信頼性の高い展開の原動力となっている。 しかし、既存の研究では、DNN構造の影響を考慮せずに、信頼性スコアと深部生成モデルに基づくOOD検出に焦点を当てている。 さらに、既存の異常検出手法は、一般化性能に高いばらつきを示し、異なる異常検出器の評価とランク付けに安定性と信頼性が欠如している。 本研究では,ニューラルアーキテクチャサーチ(NAS)を用いた近OOD検出タスクにおいて,CNNアーキテクチャの密接な接続性を自動的に探索する,Dense Connectivity Search of Outlier Detector(DCSOD)を提案する。 汎用な畳み込み演算子と高密度接続を含む階層型探索空間を導入し,多様な接続パターンを持つCNNアーキテクチャの柔軟な探索を可能にする。 探索中のOOD検出における評価の質を向上させるため,多視点特徴学習説明に基づく蒸留の進化を提案する。 蒸留の進化はOOD検出評価の訓練を安定化させ,探索の質を向上させる。 OOD検出プロトコルを用いてCIFARベンチマークのDCSODを徹底的に検討する。 実験の結果,DCSODは広く使用されているアーキテクチャや以前のNASベースラインよりも優れた性能を示した。 特に、DCSODはCIFARベンチマーク上での最先端(SOTA)性能を達成し、AUROCは$\sim$1.0%改善した。

関連論文リスト

• Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations [1.8531577178922987]
  Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。 ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。 基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
  論文  参考訳（メタデータ） (2024-05-21T10:14:50Z)
• Detecting Out-of-Distribution Through the Lens of Neural Collapse [7.04686607977352]
  アウト・オブ・ディストリビューション(OOD)検出は、AIの安全なデプロイに不可欠である。 ニューラル・コラプス(Neural Collapse)に触発されて、OOD試料の特徴と比較して重量ベクトルに近づいた分布内分布(ID)サンプルの特徴が明らかになった。 我々は,OOD検出における重みベクトルへの特徴近接を利用して,OODサンプルをフィルタする特徴ノルムを用いて,この視点を補うことを提案する。
  論文  参考訳（メタデータ） (2023-11-02T05:18:28Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection [7.221206118679026]
  ディープラーニングの安全性クリティカルな応用において、OOD(Out-of-Distribution)データを検出する能力が重要である。 この文献の既存の直観は、ディープ・アンサンブルの予測の多様性は分布シフトを示しているということである。 ImageNet-scale OOD 検出では,この直観が有効でないことを示す。
  論文  参考訳（メタデータ） (2022-07-15T15:02:38Z)
• Igeood: An Information Geometry Approach to Out-of-Distribution Detection [35.04325145919005]
  Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。 Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。 Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T11:26:35Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。