論文の概要: FLatS: Principled Out-of-Distribution Detection with Feature-Based
Likelihood Ratio Score
- arxiv url: http://arxiv.org/abs/2310.05083v1
- Date: Sun, 8 Oct 2023 09:16:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:47:49.312421
- Title: FLatS: Principled Out-of-Distribution Detection with Feature-Based
Likelihood Ratio Score
- Title（参考訳）: flats: 特徴量比スコアを用いた分布外分布検出の原理
- Authors: Haowei Lin and Yuntian Gu
- Abstract要約: FLatSはOOD検出の原理的解法である。
我々は,FLatSが他のOOD検出手法を拡張可能な汎用フレームワークとして機能できることを実証した。
実験の結果、FLatSは人気のあるベンチマークで新しいSOTAを確立している。
- 参考スコア（独自算出の注目度）: 2.9914612342004503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting out-of-distribution (OOD) instances is crucial for NLP models in
practical applications. Although numerous OOD detection methods exist, most of
them are empirical. Backed by theoretical analysis, this paper advocates for
the measurement of the "OOD-ness" of a test case $\boldsymbol{x}$ through the
likelihood ratio between out-distribution $\mathcal P_{\textit{out}}$ and
in-distribution $\mathcal P_{\textit{in}}$. We argue that the state-of-the-art
(SOTA) feature-based OOD detection methods, such as Maha and KNN, are
suboptimal since they only estimate in-distribution density
$p_{\textit{in}}(\boldsymbol{x})$. To address this issue, we propose FLatS, a
principled solution for OOD detection based on likelihood ratio. Moreover, we
demonstrate that FLatS can serve as a general framework capable of enhancing
other OOD detection methods by incorporating out-distribution density
$p_{\textit{out}}(\boldsymbol{x})$ estimation. Experiments show that FLatS
establishes a new SOTA on popular benchmarks. Our code is publicly available at
https://github.com/linhaowei1/FLatS.
- Abstract（参考訳）: 実用アプリケーションにおけるNLPモデルでは、アウト・オブ・ディストリビューション(OOD)インスタンスの検出が重要である。
多くのOOD検出方法が存在するが、そのほとんどは経験的である。
理論的解析によって裏付けられた本論文は、テストケース $\boldsymbol{x}$ の "ood-ness" の測定を、アウトディストリビューション $\mathcal p_{\textit{out}}$ とインディストリビューション $\mathcal p_{\textit{in}}$ との確率比を通して提唱する。
我々は、maha や knn のような最先端(sota)の機能に基づく ood 検出法は、分布密度 $p_{\textit{in}}(\boldsymbol{x})$ しか見積もっていないため、準最適であると主張する。
この問題に対処するために,確率比に基づくOOD検出の原理解であるFLatSを提案する。
さらに,FLatS は外部分布密度 $p_{\textit{out}}(\boldsymbol{x})$ Estimation を組み込むことで,他の OOD 検出手法を拡張可能な汎用フレームワークとして機能することを示す。
FLatSは人気のあるベンチマークで新しいSOTAを確立している。
私たちのコードはhttps://github.com/linhaowei1/flatsで公開されています。
関連論文リスト
- Rethinking Test-time Likelihood: The Likelihood Path Principle and Its
Application to OOD Detection [5.747789057967598]
我々は、可能性経路(LPath)原理を導入し、可能性原理を一般化する。
これにより、情報的要約統計の探索を、VAEsの条件付き確率の最小限の統計量にまで絞り込む。
対応するLPathアルゴリズムは、推定値の低い単純かつ小さなVAEでもSOTA性能を示す。
論文 参考訳（メタデータ） (2024-01-10T05:07:14Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - Falsehoods that ML researchers believe about OOD detection [0.24801933141734633]
我々は、密度に基づくOOD検出について機械学習研究者が信じているいくつかの虚偽を列挙する。
我々は、これらのメソッドを統合するためのフレームワーク、OODプロキシフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-23T16:21:54Z) - Holistic Sentence Embeddings for Better Out-of-Distribution Detection [12.640837452980332]
Avg-Avg という単純な埋め込み手法を提案し,各中間層からのトークン表現を文埋め込みとして平均化する。
本分析は, 微調整PLMにおける言語知識の保存に有効であり, 背景変化の検出にも有効であることを示す。
論文 参考訳（メタデータ） (2022-10-14T03:22:58Z) - RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection [65.67315418971688]
textttRankFeat は OOD 検出のためのシンプルだが効果的な textttpost hoc アプローチである。
textttRankFeatは、Emphstate-of-the-artパフォーマンスを実現し、以前のベストメソッドと比較して平均偽陽性率(FPR95)を17.90%削減する。
論文 参考訳（メタデータ） (2022-09-18T16:01:31Z) - Partial and Asymmetric Contrastive Learning for Out-of-Distribution
Detection in Long-Tailed Recognition [80.07843757970923]
既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。
本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。
我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
論文 参考訳（メタデータ） (2022-07-04T01:53:07Z) - No True State-of-the-Art? OOD Detection Methods are Inconsistent across
Datasets [69.725266027309]
アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。
本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。
また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
論文 参考訳（メタデータ） (2021-09-12T16:35:00Z) - Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。
emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。
提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
論文 参考訳（メタデータ） (2021-02-09T21:04:44Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。