論文の概要: On the Effectiveness of Sparsification for Detecting the Deep Unknowns
- arxiv url: http://arxiv.org/abs/2111.09805v1
- Date: Thu, 18 Nov 2021 17:11:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-19 14:46:02.989827
- Title: On the Effectiveness of Sparsification for Detecting the Deep Unknowns
- Title(参考訳): 深部未知物検出におけるスパーシフィケーションの有効性について
- Authors: Yiyou Sun and Yixuan Li
- Abstract要約: DICEと呼ばれるスペーシフィケーションに基づくOOD検出フレームワークを提案する。
ノイズ信号を除去することにより、DICEはOODデータの出力分散を確実に低減し、よりシャープな出力分布とIDデータからの分離性を高める。
DICEは優れた性能を確立し、FPR95を以前のベストメソッドに比べて最大24.69%削減した。
- 参考スコア(独自算出の注目度): 16.536435101298366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting out-of-distribution (OOD) inputs is a central challenge for safely
deploying machine learning models in the real world. Previous methods commonly
rely on an OOD score derived from the overparameterized weight space, while
largely overlooking the role of sparsification. In this paper, we reveal
important insights that reliance on unimportant weights and units can directly
attribute to the brittleness of OOD detection. To mitigate the issue, we
propose a sparsification-based OOD detection framework termed DICE. Our key
idea is to rank weights based on a measure of contribution, and selectively use
the most salient weights to derive the output for OOD detection. We provide
both empirical and theoretical insights, characterizing and explaining the
mechanism by which DICE improves OOD detection. By pruning away noisy signals,
DICE provably reduces the output variance for OOD data, resulting in a sharper
output distribution and stronger separability from ID data. DICE establishes
superior performance, reducing the FPR95 by up to 24.69% compared to the
previous best method.
- Abstract(参考訳): out-of-distribution (ood)インプットの検出は、現実世界に機械学習モデルを安全にデプロイするための中心的な課題である。
従来の方法では、過度にパラメータ化された重量空間から得られるOODスコアに依存していたが、大部分はスパシフィケーションの役割を見落としていた。
本稿では,OOD検出の脆さに直接起因して,重要でない重量や単位に依存しているという重要な知見を明らかにする。
この問題を軽減するため,DICEと呼ばれるスペーシフィケーションに基づくOOD検出フレームワークを提案する。
私たちのキーとなるアイデアは、コントリビューションの尺度に基づいてウェイトをランク付けし、最も健全なウェイトを選択的に使用してOOD検出の出力を導出することです。
我々は、DICEがOOD検出を改善するメカニズムを特徴づけ、説明し、経験的および理論的知見を提供する。
ノイズ信号を除去することにより、DICEはOODデータの出力分散を確実に低減し、よりシャープな出力分布とIDデータからの分離性を高める。
DICEは優れた性能を確立し、FPR95を以前のベストメソッドに比べて最大24.69%削減した。
関連論文リスト
- Fast Decision Boundary based Out-of-Distribution Detector [8.324938763661295]
レイテンシクリティカルなアプリケーションにおけるAIの安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
近年の研究では,特徴空間情報に基づくOODの検出が有効であることが判明している。
有効性にもかかわらず、特徴空間を離脱するOOD法は、非無視的な計算オーバーヘッドを引き起こす可能性がある。
論文 参考訳(メタデータ) (2023-12-15T19:50:32Z) - Learning to Augment Distributions for Out-of-Distribution Detection [49.12437300327712]
アウト・オブ・ディストリビューション (OOD) は、ラベルがイン・ディストリビューション (ID) の場合と区別される。
我々は,OODの分布差を軽減するためにDAL(distributal-Augmented OOD Learning)を提案する。
論文 参考訳(メタデータ) (2023-11-03T09:19:33Z) - Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。
特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。
本稿では,大規模事前学習モデルに対する一意な解を提案する。
論文 参考訳(メタデータ) (2023-10-02T02:01:00Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-03-09T04:36:38Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳(メタデータ) (2023-02-06T08:24:41Z) - On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution
Detection [7.221206118679026]
ディープラーニングの安全性クリティカルな応用において、OOD(Out-of-Distribution)データを検出する能力が重要である。
この文献の既存の直観は、ディープ・アンサンブルの予測の多様性は分布シフトを示しているということである。
ImageNet-scale OOD 検出では,この直観が有効でないことを示す。
論文 参考訳(メタデータ) (2022-07-15T15:02:38Z) - No True State-of-the-Art? OOD Detection Methods are Inconsistent across
Datasets [69.725266027309]
アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。
本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。
また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
論文 参考訳(メタデータ) (2021-09-12T16:35:00Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-06-26T20:58:05Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。