論文の概要: Rethinking Out-of-Distribution Detection From a Human-Centric
Perspective
- arxiv url: http://arxiv.org/abs/2211.16778v1
- Date: Wed, 30 Nov 2022 06:34:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 17:07:10.449050
- Title: Rethinking Out-of-Distribution Detection From a Human-Centric
Perspective
- Title（参考訳）: 人間中心の視点から分布外検出を再考する
- Authors: Yao Zhu, Yuefeng Chen, Xiaodan Li, Rong Zhang, Hui Xue, Xiang Tian,
Rongxin Jiang, Bolun Zheng, Yaowu Chen
- Abstract要約: Out-Of-Distribution(OOD)検出は、現実世界のシナリオにおけるディープニューラルネットワーク(DNN)の信頼性と安全性を保証することを目的としている。
そこで本研究では,45個の分類器と8つのテストデータセットに対して,人間中心の評価を行い,広範な実験を行う。
単純なベースラインOOD検出手法は,最近提案した手法と同等,さらに優れた性能を実現することができる。
- 参考スコア（独自算出の注目度）: 22.834986963880482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-Of-Distribution (OOD) detection has received broad attention over the
years, aiming to ensure the reliability and safety of deep neural networks
(DNNs) in real-world scenarios by rejecting incorrect predictions. However, we
notice a discrepancy between the conventional evaluation vs. the essential
purpose of OOD detection. On the one hand, the conventional evaluation
exclusively considers risks caused by label-space distribution shifts while
ignoring the risks from input-space distribution shifts. On the other hand, the
conventional evaluation reward detection methods for not rejecting the
misclassified image in the validation dataset. However, the misclassified image
can also cause risks and should be rejected. We appeal to rethink OOD detection
from a human-centric perspective, that a proper detection method should reject
the case that the deep model's prediction mismatches the human expectations and
adopt the case that the deep model's prediction meets the human expectations.
We propose a human-centric evaluation and conduct extensive experiments on 45
classifiers and 8 test datasets. We find that the simple baseline OOD detection
method can achieve comparable and even better performance than the recently
proposed methods, which means that the development in OOD detection in the past
years may be overestimated. Additionally, our experiments demonstrate that
model selection is non-trivial for OOD detection and should be considered as an
integral of the proposed method, which differs from the claim in existing works
that proposed methods are universal across different models.
- Abstract（参考訳）: Out-Of-Distribution(OOD)検出は、誤った予測を拒否することで、現実世界のシナリオにおけるディープニューラルネットワーク(DNN)の信頼性と安全性を保証することを目的として、長年にわたって広く注目を集めてきた。
しかし,従来の評価とOOD検出の本質的目的との相違が指摘されている。
一方,従来の評価では,ラベル空間分布シフトによるリスクを排他的に考慮し,入力空間分布シフトによるリスクを無視する。
一方、従来の評価報酬検出手法では、検証データセット内の誤分類画像を拒否しない。
しかし、誤分類された画像はリスクを引き起こし、拒否されるべきである。
我々は,人間中心の視点からood検出を再考し,深層モデルの予測が人間の期待と一致しない場合を適切な検出法で拒否し,深層モデルの予測が人間の期待を満たしている場合を採用することを提案する。
本稿では,人間中心の評価を行い,45の分類器と8つのテストデータセットについて広範な実験を行う。
近年のOOD検出手法は,従来のOOD検出手法と同等,さらに優れた性能を達成でき,近年のOOD検出手法の開発が過大評価されている可能性がある。
さらに,本実験は,OOD検出においてモデル選択が非自明であることを示し,提案手法の積分として考慮すべきであることを示す。
関連論文リスト
- The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。
我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
論文 参考訳（メタデータ） (2024-10-12T07:02:04Z) - Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。
提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
論文 参考訳（メタデータ） (2024-07-23T12:28:59Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent
Representations [28.875819909902244]
不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。
既存の不確実性推定アプローチは、低次元分布仮定に依存している。
本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-25T12:22:18Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳（メタデータ） (2023-06-26T12:51:32Z) - iDECODe: In-distribution Equivariance for Conformal Out-of-distribution
Detection [24.518698391381204]
ディープニューラルネットワーク(DNN)のような機械学習手法は、しばしば信頼性の高い誤った予測を生成する。
そこで我々は,共形OOD検出に分配同値を用いたiDECODeを提案する。
画像と音声のデータセットを用いた実験により,iDECODeの有効性を実証し,その結果を得た。
論文 参考訳（メタデータ） (2022-01-07T05:21:40Z) - Understanding Failures in Out-of-Distribution Detection with Deep
Generative Models [22.11487118547924]
アウト・ディストリビューションが関係する仮定なしでは、ランダムな確率を超える性能を保証する方法が存在しないことを実証する。
イン・ディストリビューションとアウト・ディストリビューションのオーバーラップを想定した上で,その影響を強調した。
以上の結果から, 推定誤差は, 可能性に基づくOOD検出と利害分布の相違よりも, より妥当な説明であることが示唆された。
論文 参考訳（メタデータ） (2021-07-14T18:00:11Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Out-of-distribution detection for regression tasks: parameter versus
predictor entropy [2.026281591452464]
マシンラーニングモデルが信頼されるためのトレーニングサンプルから、インスタンスが正しく外れていることを検出することが重要です。
ニューラルネットワークの場合、このタスクの1つのアプローチは、トレーニングデータを説明することができる予測子の多様性を学習することである。
そこで本研究では,関数空間に近接する隣接点に基づく予測器上の分布のエントロピーを推定する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-24T21:41:21Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。