論文の概要: Multiple Testing Framework for Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2206.09522v5
• Date: Sat, 16 Sep 2023 04:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 01:52:25.675184
• Title: Multiple Testing Framework for Out-of-Distribution Detection
• Title（参考訳）: 分散検出のための複数テストフレームワーク
• Authors: Akshayaa Magesh, Venugopal V. Veeravalli, Anirban Roy, Susmit Jha
• Abstract要約: 本研究では,学習アルゴリズムの出力を推定時に信頼できるかどうかを検知するOOD(Out-of-Distribution)検出の問題について検討する。 我々は,OOD検出のための強力なテスト構築のための洞察を提供する,入力分布と学習アルゴリズムの両方を含むOOD概念の定義を提案する。
• 参考スコア（独自算出の注目度）: 27.248375922343616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of Out-of-Distribution (OOD) detection, that is, detecting whether a learning algorithm's output can be trusted at inference time. While a number of tests for OOD detection have been proposed in prior work, a formal framework for studying this problem is lacking. We propose a definition for the notion of OOD that includes both the input distribution and the learning algorithm, which provides insights for the construction of powerful tests for OOD detection. We propose a multiple hypothesis testing inspired procedure to systematically combine any number of different statistics from the learning algorithm using conformal p-values. We further provide strong guarantees on the probability of incorrectly classifying an in-distribution sample as OOD. In our experiments, we find that threshold-based tests proposed in prior work perform well in specific settings, but not uniformly well across different types of OOD instances. In contrast, our proposed method that combines multiple statistics performs uniformly well across different datasets and neural networks.
• Abstract（参考訳）: 本研究では,学習アルゴリズムの出力を推定時に信頼できるかどうかを検知するOOD(Out-of-Distribution)検出の問題について検討する。 OOD検出のためのいくつかの試験が先行研究で提案されているが、この問題を研究するための正式な枠組みが欠如している。 我々は,OOD検出のための強力なテスト構築のための洞察を提供する,入力分布と学習アルゴリズムの両方を含むOOD概念の定義を提案する。 共形p-値を用いた学習アルゴリズムから,様々な統計情報を体系的に組み合わせた多重仮説テスト法を提案する。 さらに, 流通中のサンプルをOODと誤分類する可能性を強く保証する。 実験では、前処理で提案したしきい値ベースのテストは、特定の環境では良好に動作するが、異なるタイプのOODインスタンスでは均一に機能しないことがわかった。 対照的に,複数の統計値を組み合わせた提案手法は,異なるデータセットとニューラルネットワークに対して均一に機能する。

関連論文リスト

• Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection [9.656342063882555]
  5種類の分布変化について検討し,OOD検出手法の性能評価を行った。 その結果,これらの手法は未知のクラスの検出に優れるが,他のタイプの分散シフトに遭遇した場合,その性能は不整合であることがわかった。 我々は、より一貫性があり包括的なOOD検出ソリューションを提供するアンサンブルアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-22T14:52:44Z)
• General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。 本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。 提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-24T18:50:49Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• Background Matters: Enhancing Out-of-distribution Detection with Domain Features [90.32910087103744]
  OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。 既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。 本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-15T16:12:14Z)
• Understanding the properties and limitations of contrastive learning for Out-of-Distribution detection [3.2689702143620143]
  アウト・オブ・ディストリビューション(OOD)検出に対する一般的なアプローチは、コントラスト学習と呼ばれる自己教師付き学習技術に基づいている。 本稿では,OOD検出のための既存のコントラスト学習手法の有効性と限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2022-11-06T17:33:29Z)
• Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
  本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。 内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。 また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
  論文  参考訳（メタデータ） (2022-06-20T16:32:49Z)
• WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
  ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。 トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。 本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:35:15Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
  我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。 emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。 提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:04:44Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。