論文の概要: Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data
- arxiv url: http://arxiv.org/abs/2110.15231v1
- Date: Thu, 28 Oct 2021 15:42:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 20:25:38.442684
- Title: Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data
- Title（参考訳）: 分布外データの検出と校正のための共変量と概念シフトの探索
- Authors: Junjiao Tian, Yen-Change Hsu, Yilin Shen, Hongxia Jin, Zsolt Kira
- Abstract要約: キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
- 参考スコア（独自算出の注目度）: 77.27338842609153
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Moving beyond testing on in-distribution data works on Out-of-Distribution
(OOD) detection have recently increased in popularity. A recent attempt to
categorize OOD data introduces the concept of near and far OOD detection.
Specifically, prior works define characteristics of OOD data in terms of
detection difficulty. We propose to characterize the spectrum of OOD data using
two types of distribution shifts: covariate shift and concept shift, where
covariate shift corresponds to change in style, e.g., noise, and concept shift
indicates a change in semantics. This characterization reveals that sensitivity
to each type of shift is important to the detection and confidence calibration
of OOD data. Consequently, we investigate score functions that capture
sensitivity to each type of dataset shift and methods that improve them. To
this end, we theoretically derive two score functions for OOD detection, the
covariate shift score and concept shift score, based on the decomposition of
KL-divergence for both scores, and propose a geometrically-inspired method
(Geometric ODIN) to improve OOD detection under both shifts with only
in-distribution data. Additionally, the proposed method naturally leads to an
expressive post-hoc calibration function which yields state-of-the-art
calibration performance on both in-distribution and out-of-distribution data.
We are the first to propose a method that works well across both OOD detection
and calibration and under different types of shifts. Specifically, we improve
the previous state-of-the-art OOD detection by relatively 7% AUROC on CIFAR100
vs. SVHN and achieve the best calibration performance of 0.084 Expected
Calibration Error on the corrupted CIFAR100C dataset. View project page at
https://sites.google.com/view/geometric-decomposition.
- Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出で動作するイン・ディストリビューションデータのテストを超えて、最近人気が高まっている。
OODデータを分類する最近の試みは、OODの近距離検出の概念を導入している。
具体的には,OODデータの特徴を検出困難度の観点から定義する。
共変量シフト(covariate shift)と概念シフト(concept shift)の2つのタイプの分布シフト(covariate shift)を用いて、oodデータのスペクトルを特徴付けることを提案する。
この特徴は,oodデータの検出と信頼性校正において,各シフトに対する感度が重要であることを示す。
その結果、各種類のデータセットシフトに対する感度を捉えるスコア関数と、それを改善する方法について検討した。
この目的のために,両スコアのkl-divergence分解に基づく,ood検出のための2つのスコア関数,共変量シフトスコアと概念シフトスコアを理論的に導出し,分布データのみを用いて両シフトにおけるood検出を改善するための幾何学的インスパイア手法(geometric odin)を提案する。
さらに,提案手法は,分散データと分散データの両方において最先端のキャリブレーション性能をもたらす表現的ポストホックキャリブレーション関数を自然に導く。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
具体的には、CIFAR100とSVHNのAUROCによる従来のOOD検出を比較的7%改善し、劣化したCIFAR100Cデータセット上で0.084のキャリブレーション誤差を最高のキャリブレーション性能を達成する。
プロジェクトページはhttps://sites.google.com/view/geometric-decomposition。
関連論文リスト
- Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection [24.557227100200215]
オープンソースアプリケーションに信頼性の高い機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
近年のCLIPによるOOD検出の進歩は,IDデータから抽出したOOD特徴に即時調整を施すことによって有望な結果を示した。
提案手法は,SCT(Self-Calibrated Tuning)と呼ばれる新しいフレームワークで,与えられた数ショットのIDデータのみを用いて効果的なOOD検出を行う。
論文 参考訳（メタデータ） (2024-11-05T02:29:16Z) - Resultant: Incremental Effectiveness on Likelihood for Unsupervised Out-of-Distribution Detection [63.93728560200819]
unsupervised out-of-distribution (U-OOD) は、未表示のin-distriion(ID)データのみに基づいて訓練された検出器でデータサンプルを識別することである。
近年の研究は、DGMに基づく様々な検出器を開発し、可能性を超えて移動している。
本研究では,各方向,特にポストホック前とデータセットエントロピー・ミューチュアルキャリブレーションの2つの手法を適用した。
実験の結果、結果が新しい最先端のU-OOD検出器になる可能性が示された。
論文 参考訳（メタデータ） (2024-09-05T02:58:13Z) - Can Your Generative Model Detect Out-of-Distribution Covariate Shift? [2.0144831048903566]
条件付き正規化フロー(cNFs)を用いたOODセンサデータ検出のための新しい手法を提案する。
CIFAR10 対 CIFAR10-C と ImageNet200 対 ImageNet200-C では,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-09-04T19:27:56Z) - Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。
いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。
この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
論文 参考訳（メタデータ） (2024-06-14T09:27:56Z) - ImageNet-OOD: Deciphering Modern Out-of-Distribution Detection Algorithms [27.67837353597245]
アウト・オブ・ディストリビューション(OOD)検出は、未定義で悪名高い。
最近の研究は、障害検出に焦点をあてている。
以前は最先端と見なされていた複雑なOOD検出器は、単純な最大ソフトマックス確率ベースラインと同じような、あるいはそれ以上に機能している。
論文 参考訳（メタデータ） (2023-10-03T02:37:57Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric
Perspective [55.45202687256175]
アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。
本稿では,OOD検出における教師なし評価問題を初めて紹介する。
我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
論文 参考訳（メタデータ） (2023-02-16T13:34:35Z) - Out of Distribution Detection via Neural Network Anchoring [38.36467447555689]
分布外検出のためのキャリブレーション戦略としてヘテロセシダスティック温度スケーリングを利用する。
本研究では,各試料の適切な温度値を推定できるアンカー方式を提案する。
優れたOOD検出手法のいくつかとは対照的に、我々の手法は追加の外部データセットへの露出を必要としない。
論文 参考訳（メタデータ） (2022-07-08T21:01:09Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T22:04:19Z) - Types of Out-of-Distribution Texts and How to Detect Them [4.854346360117765]
OODの例は背景変化か意味変化かによって分類する。
モデルキャリブレーションと密度推定という2つの主要なOOD検出手法が,これらのOODデータに対して異なる挙動を示すことがわかった。
本研究の結果は,OODのサンプルを,異なる検出方法を評価する際に明確な定義を求めるものである。
論文 参考訳（メタデータ） (2021-09-14T17:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。