論文の概要: Layer Adaptive Deep Neural Networks for Out-of-distribution Detection
- arxiv url: http://arxiv.org/abs/2203.00192v1
- Date: Tue, 1 Mar 2022 02:47:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 13:54:40.416954
- Title: Layer Adaptive Deep Neural Networks for Out-of-distribution Detection
- Title(参考訳): 層適応型ディープニューラルネットワークによる分散検出
- Authors: Haoliang Wang, Chen Zhao, Xujiang Zhao, Feng Chen
- Abstract要約: ディープニューラルネットワーク(DNN)のための新しい層適応型OOD検出フレームワーク(LA-OOD)を提案する。
中間層で同時に複数のワンクラスSVM OOD検出器を訓練し、DNNの様々な深さで符号化された全スペクトル特性を利用する。
LA-OODはさまざまな複雑さを持つOODに対して堅牢であり、いくつかの実世界のデータセットに対して大きなマージンで最先端の競合より優れている。
- 参考スコア(独自算出の注目度): 14.385491722476036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: During the forward pass of Deep Neural Networks (DNNs), inputs gradually
transformed from low-level features to high-level conceptual labels. While
features at different layers could summarize the important factors of the
inputs at varying levels, modern out-of-distribution (OOD) detection methods
mostly focus on utilizing their ending layer features. In this paper, we
proposed a novel layer-adaptive OOD detection framework (LA-OOD) for DNNs that
can fully utilize the intermediate layers' outputs. Specifically, instead of
training a unified OOD detector at a fixed ending layer, we train multiple
One-Class SVM OOD detectors simultaneously at the intermediate layers to
exploit the full spectrum characteristics encoded at varying depths of DNNs. We
develop a simple yet effective layer-adaptive policy to identify the best layer
for detecting each potential OOD example. LA-OOD can be applied to any existing
DNNs and does not require access to OOD samples during the training. Using
three DNNs of varying depth and architectures, our experiments demonstrate that
LA-OOD is robust against OODs of varying complexity and can outperform
state-of-the-art competitors by a large margin on some real-world datasets.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の前方通過の間、入力は徐々に低レベルの特徴から高レベルの概念ラベルへと変化していった。
異なる層における特徴は入力の重要な要素を様々なレベルでまとめることができるが、現代のアウト・オブ・ディストリビューション(OOD)検出方法は、主にエンド層機能の利用に焦点を当てている。
本稿では、中間層出力をフル活用できるDNNのための新しい層適応型OOD検出フレームワーク(LA-OOD)を提案する。
具体的には、固定終端層で統一OOD検出器を訓練する代わりに、中間層で複数のワンクラスSVM OOD検出器を同時に訓練し、DNNの様々な深さで符号化された全スペクトル特性を利用する。
我々は,OODのサンプルを検出できる最適な層を特定するための,シンプルで効果的な層適応ポリシーを開発した。
LA-OODは既存のDNNにも適用可能で、トレーニング中にOODサンプルにアクセスする必要はない。
さまざまな深度とアーキテクチャの3つのDNNを用いて、LA-OODは様々な複雑さのOODに対して堅牢であり、いくつかの実世界のデータセットに対する大きなマージンで最先端の競合より優れていることを示した。
関連論文リスト
- Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。
いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。
この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
論文 参考訳(メタデータ) (2024-06-14T09:27:56Z) - GROOD: GRadient-aware Out-Of-Distribution detection in interpolated
manifolds [12.727088216619386]
ディープニューラルネットワーク(DNN)におけるアウト・オブ・ディストリビューション検出は、現実世界のデプロイメントにおいてリスクを引き起こす可能性がある。
グラディエント・アウェア・アウトオフ・ディストリビューション検出を導入。
ネイティブ多様体(Internative manifold, GROOD)は、勾配空間の識別力に依存する新しいフレームワークである。
GRODが最先端のベースラインの確立された堅牢性を上回ることを示す。
論文 参考訳(メタデータ) (2023-12-22T04:28:43Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - Background Matters: Enhancing Out-of-distribution Detection with Domain
Features [90.32910087103744]
OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。
既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。
本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-15T16:12:14Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳(メタデータ) (2022-10-17T14:32:02Z) - Igeood: An Information Geometry Approach to Out-of-Distribution
Detection [35.04325145919005]
Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。
Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。
Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-03-15T11:26:35Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳(メタデータ) (2021-08-03T17:09:56Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - MOOD: Multi-level Out-of-distribution Detection [13.207044902083057]
異常な入力がデプロイ中にモデルが失敗するのを防ぐには、分散アウト・ディストリビューション(OOD)検出が不可欠です。
動的かつ効率的なOOD推論のための中間分類器出力を利用する,新しいフレームワークであるマルチレベルアウトオブディストリビューション検出MOODを提案する。
MOODは、競合するOOD検出性能を維持しながら、推論における最大71.05%の計算削減を実現します。
論文 参考訳(メタデータ) (2021-04-30T02:18:31Z) - FOOD: Fast Out-Of-Distribution Detector [43.31844129399436]
FOODは、最小の推論時間オーバーヘッドでOODサンプルを効率的に検出できる拡張ディープニューラルネットワーク(DNN)である。
SVHN, CIFAR-10, CIFAR-100データセット上でのFOODの検出性能を評価する。
以上の結果から, FOODは最先端性能の達成に加えて, 実世界のアプリケーションにも適用可能であることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T08:22:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。