論文の概要: Advancing Out-of-Distribution Detection through Data Purification and
Dynamic Activation Function Design
- arxiv url: http://arxiv.org/abs/2403.03412v1
- Date: Wed, 6 Mar 2024 02:39:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:24:27.410536
- Title: Advancing Out-of-Distribution Detection through Data Purification and
Dynamic Activation Function Design
- Title（参考訳）: データ浄化と動的活性化関数設計による分散検出の高度化
- Authors: Yingrui Ji, Yao Zhu, Zhigang Li, Jiansheng Chen, Yunlong Kong and
Jingbo Chen
- Abstract要約: OOD-R(Out-of-Distribution-Rectified)は,ノイズ低減特性が向上したオープンソースデータセットの集合体である。
OOD-Rはノイズフィルタリング技術を導入してデータセットを洗練し、OOD検出アルゴリズムのより正確で信頼性の高い評価を確実にする。
本稿では,多様な入力に対するモデルの応答を微調整し,特徴抽出の安定性を向上させる革新的な方法であるActFunを提案する。
- 参考スコア（独自算出の注目度）: 12.45245390882047
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the dynamic realms of machine learning and deep learning, the robustness
and reliability of models are paramount, especially in critical real-world
applications. A fundamental challenge in this sphere is managing
Out-of-Distribution (OOD) samples, significantly increasing the risks of model
misclassification and uncertainty. Our work addresses this challenge by
enhancing the detection and management of OOD samples in neural networks. We
introduce OOD-R (Out-of-Distribution-Rectified), a meticulously curated
collection of open-source datasets with enhanced noise reduction properties.
In-Distribution (ID) noise in existing OOD datasets can lead to inaccurate
evaluation of detection algorithms. Recognizing this, OOD-R incorporates noise
filtering technologies to refine the datasets, ensuring a more accurate and
reliable evaluation of OOD detection algorithms. This approach not only
improves the overall quality of data but also aids in better distinguishing
between OOD and ID samples, resulting in up to a 2.5\% improvement in model
accuracy and a minimum 3.2\% reduction in false positives. Furthermore, we
present ActFun, an innovative method that fine-tunes the model's response to
diverse inputs, thereby improving the stability of feature extraction and
minimizing specificity issues. ActFun addresses the common problem of model
overconfidence in OOD detection by strategically reducing the influence of
hidden units, which enhances the model's capability to estimate OOD uncertainty
more accurately. Implementing ActFun in the OOD-R dataset has led to
significant performance enhancements, including an 18.42\% increase in AUROC of
the GradNorm method and a 16.93\% decrease in FPR95 of the Energy method.
Overall, our research not only advances the methodologies in OOD detection but
also emphasizes the importance of dataset integrity for accurate algorithm
evaluation.
- Abstract（参考訳）: 機械学習とディープラーニングのダイナミックな領域では、モデルの堅牢性と信頼性が最重要である。
この領域における根本的な課題は、アウト・オブ・ディストリビューション(OOD)のサンプルを管理し、モデルの誤分類と不確実性のリスクを大幅に増加させることである。
ニューラルネットワークにおけるOODサンプルの検出と管理を強化することで,この問題に対処する。
OOD-R(Out-of-Distribution-Rectified)は,ノイズ低減特性が向上したオープンソースデータセットの集合体である。
既存のOODデータセットのIDノイズは、検出アルゴリズムの不正確な評価につながる可能性がある。
これを認識して、OOD-Rはノイズフィルタリング技術を組み込んでデータセットを洗練し、OOD検出アルゴリズムのより正確で信頼性の高い評価を保証する。
このアプローチはデータの全体的な品質を向上するだけでなく、OODとIDサンプルの識別性の向上にも役立ち、モデル精度が2.5倍に向上し、偽陽性が最低3.2倍に低下する。
さらに,様々な入力に対するモデルの応答を微調整し,特徴抽出の安定性を改善し,特異性を最小化する手法であるactfunを提案する。
ActFunは、隠蔽ユニットの影響を戦略的に低減することで、OOD検出におけるモデル過信の一般的な問題に対処し、OODの不確実性をより正確に推定するモデルの能力を高める。
OOD-Rデータセットに ActFun を実装することで、GradNorm 法の AUROC が 18.42 % 増加し、Energy 法の FPR95 が 16.93 % 減少した。
全体として、OOD検出の方法論を進歩させるだけでなく、正確なアルゴリズム評価のためのデータセット整合性の重要性も強調している。
関連論文リスト
- LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection [67.49587673594276]
我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。
DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-21T08:45:08Z) - Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。
近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。
効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
論文 参考訳（メタデータ） (2022-07-08T18:05:58Z) - ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。
主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。
我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
論文 参考訳（メタデータ） (2021-11-24T21:02:07Z) - On the Impact of Spurious Correlation for Out-of-distribution Detection [14.186776881154127]
我々は、不変性と環境特性の両方を考慮して、データシフトをモデル化し、新しい形式化を提案する。
その結果, トレーニングセットにおいて, 突発的特徴とラベルの相関が大きくなると, 検出性能が著しく悪化することが示唆された。
論文 参考訳（メタデータ） (2021-09-12T23:58:17Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-06-26T20:58:05Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。