論文の概要: Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2102.05131v1
• Date: Tue, 9 Feb 2021 21:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 14:54:17.941706
• Title: Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection
• Title（参考訳）: 分布外検出のためのラベルスムース埋め込み仮説
• Authors: Dara Bahri and Heinrich Jiang and Yi Tay and Donald Metzler
• Abstract要約: 我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。 emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。 提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
• 参考スコア（独自算出の注目度）: 72.35532598131176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting out-of-distribution (OOD) examples is critical in many applications. We propose an unsupervised method to detect OOD samples using a $k$-NN density estimate with respect to a classification model's intermediate activations on in-distribution samples. We leverage a recent insight about label smoothing, which we call the \emph{Label Smoothed Embedding Hypothesis}, and show that one of the implications is that the $k$-NN density estimator performs better as an OOD detection method both theoretically and empirically when the model is trained with label smoothing. Finally, we show that our proposal outperforms many OOD baselines and also provide new finite-sample high-probability statistical results for $k$-NN density estimation's ability to detect OOD examples.
• Abstract（参考訳）: 多くのアプリケーションでは、アウト・オブ・ディストリビューション(OOD)の例を検出することが重要です。 本研究では,分類モデルの中間活性化に関して,$k$-NNの密度推定値を用いてOODサンプルを検出する非監視手法を提案する。 ラベルの平滑化に関する最近の洞察を利用して、私たちは \emph{Label Smoothed Embedding Hypothesis} と呼んでおり、その意味の1つは、$k$-NN密度推定器が、ラベル平滑化でモデルが訓練されたときに理論的および実証的にOOD検出方法としてよりよく機能することを示しています。 最後に,提案手法はOODのベースラインよりも優れた性能を示し,さらに,OODのサンプルを検出できる$k$-NN密度推定のための新しい有限サンプル高確率統計結果を提供する。

関連論文リスト

• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection [41.41164637577005]
  ポストホックアウト・オブ・ディストリビューション(OOD)検出は、信頼性の高い機械学習において大きな注目を集めている。 本稿では,密度に基づくスコア設計の統一的な視点を提供するために,Bregmanの発散に基づく理論的枠組みを提案する。 我々は,提案するtextscConjNormが,様々なOOD検出設定において,新たな最先端技術を確立したことを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:02:47Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• FLatS: Principled Out-of-Distribution Detection with Feature-Based Likelihood Ratio Score [2.9914612342004503]
  FLatSはOOD検出の原理的解法である。 我々は,FLatSが他のOOD検出手法を拡張可能な汎用フレームワークとして機能できることを実証した。 実験の結果、FLatSは人気のあるベンチマークで新しいSOTAを確立している。
  論文  参考訳（メタデータ） (2023-10-08T09:16:46Z)
• Estimating Soft Labels for Out-of-Domain Intent Detection [122.68266151023676]
  Out-of-Domain (OOD)インテント検出は,実際の対話システムにおいて重要である。 擬似OODサンプルに対するソフトラベルを推定できる適応型ソフト擬似ラベル法(ASoul)を提案する。
  論文  参考訳（メタデータ） (2022-11-10T13:31:13Z)
• WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
  ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。 トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。 本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:35:15Z)
• Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks [26.0303701309125]
  本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。 このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。 本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
  論文  参考訳（メタデータ） (2021-02-25T16:14:47Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
  ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。 我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。 提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-07-22T10:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。