論文の概要: Rethinking Test-time Likelihood: The Likelihood Path Principle and Its
Application to OOD Detection
- arxiv url: http://arxiv.org/abs/2401.04933v1
- Date: Wed, 10 Jan 2024 05:07:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 15:30:14.929153
- Title: Rethinking Test-time Likelihood: The Likelihood Path Principle and Its
Application to OOD Detection
- Title（参考訳）: テスト時間様相の再考 : 相似経路原理とOOD検出への応用
- Authors: Sicong Huang, Jiawei He, Kry Yik Chau Lui
- Abstract要約: 我々は、可能性経路(LPath)原理を導入し、可能性原理を一般化する。
これにより、情報的要約統計の探索を、VAEsの条件付き確率の最小限の統計量にまで絞り込む。
対応するLPathアルゴリズムは、推定値の低い単純かつ小さなVAEでもSOTA性能を示す。
- 参考スコア（独自算出の注目度）: 5.747789057967598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While likelihood is attractive in theory, its estimates by deep generative
models (DGMs) are often broken in practice, and perform poorly for out of
distribution (OOD) Detection. Various recent works started to consider
alternative scores and achieved better performances. However, such recipes do
not come with provable guarantees, nor is it clear that their choices extract
sufficient information.
We attempt to change this by conducting a case study on variational
autoencoders (VAEs). First, we introduce the likelihood path (LPath) principle,
generalizing the likelihood principle. This narrows the search for informative
summary statistics down to the minimal sufficient statistics of VAEs'
conditional likelihoods. Second, introducing new theoretic tools such as nearly
essential support, essential distance and co-Lipschitzness, we obtain
non-asymptotic provable OOD detection guarantees for certain distillation of
the minimal sufficient statistics. The corresponding LPath algorithm
demonstrates SOTA performances, even using simple and small VAEs with poor
likelihood estimates. To our best knowledge, this is the first provable
unsupervised OOD method that delivers excellent empirical results, better than
any other VAEs based techniques. We use the same model as
\cite{xiao2020likelihood}, open sourced from:
https://github.com/XavierXiao/Likelihood-Regret
- Abstract（参考訳）: 確率は理論上は魅力的であるが、深部生成モデル(DGM)による推定は、実際は壊れることが多く、分布外検出(OOD)では不十分である。
近年の様々な作品で代替のスコアが検討され始め、パフォーマンスが向上した。
しかし、そのようなレシピには証明可能な保証がないし、それらの選択が十分な情報を抽出することも明らかではない。
本研究では,変分オートエンコーダ (VAE) のケーススタディにより,これを変更しようとする。
まず,ラピッドパス原理(lpath principle)を導入し,ラピッド原理を一般化する。
これにより、情報的要約統計の探索を、VAEsの条件付き確率の最小限の統計量にまで絞り込む。
第2に,本質的サポート,本質的距離,コリプシッツ性などの新たな理論ツールを導入し,最小限の統計量の蒸留を行うための非漸近的証明可能なOOD検出保証を得る。
対応するLPathアルゴリズムは、推定値の低い単純かつ小さなVAEでもSOTA性能を示す。
我々の知る限りでは、これは、他のVAEベースの技術よりも優れた実験結果を提供する、証明不可能なOODメソッドとして初めてである。
私たちは、https://github.com/xavierxiao/likelihood-regretからオープンソース化された \cite{xiao2020likelihood}と同じモデルを使用します。
関連論文リスト
- Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - FLatS: Principled Out-of-Distribution Detection with Feature-Based
Likelihood Ratio Score [2.9914612342004503]
FLatSはOOD検出の原理的解法である。
我々は,FLatSが他のOOD検出手法を拡張可能な汎用フレームワークとして機能できることを実証した。
実験の結果、FLatSは人気のあるベンチマークで新しいSOTAを確立している。
論文 参考訳（メタデータ） (2023-10-08T09:16:46Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Detecting Out-of-distribution Examples via Class-conditional Impressions
Reappearing [30.938412222724608]
Out-of-Distribution(OOD)検出は、標準のディープニューラルネットワークを拡張して、元のトレーニングデータと異常な入力を区別することを目的としている。
プライバシーとセキュリティのため、補助的なデータは現実のシナリオでは実用的ではない傾向にある。
我々は,C2IR(Class-Conditional Impressions Reappearing)と呼ばれる,自然データに対する訓練を伴わないデータフリー手法を提案する。
論文 参考訳（メタデータ） (2023-03-17T02:55:08Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Robust Out-of-Distribution Detection on Deep Probabilistic Generative
Models [0.06372261626436676]
アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。
深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。
本稿では,外周露光を伴わない新しい検出指標を提案する。
論文 参考訳（メタデータ） (2021-06-15T06:36:10Z) - Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。
emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。
提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
論文 参考訳（メタデータ） (2021-02-09T21:04:44Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - Density of States Estimation for Out-of-Distribution Detection [69.90130863160384]
DoSEは状態推定器の密度である。
我々は、他の教師なしOOD検出器に対するDoSEの最先端性能を実証する。
論文 参考訳（メタデータ） (2020-06-16T16:06:25Z) - Likelihood Regret: An Out-of-Distribution Detection Score For
Variational Auto-encoder [6.767885381740952]
確率的生成モデルは、ある種のアウト・オブ・ディストリビューション・サンプルに対して高い確率を割り当てることができる。
VAEのための効率的なOODスコアであるLikelihood Regretを提案する。
論文 参考訳（メタデータ） (2020-03-06T00:30:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。