論文の概要: On the Learnability of Out-of-distribution Detection

• arxiv url: http://arxiv.org/abs/2404.04865v1
• Date: Sun, 7 Apr 2024 08:17:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 19:20:53.160879
• Title: On the Learnability of Out-of-distribution Detection
• Title（参考訳）: アウト・オブ・ディストリビューション検出の学習性について
• Authors: Zhen Fang, Yixuan Li, Feng Liu, Bo Han, Jie Lu,
• Abstract要約: 本稿では,OOD検出のほぼ正解(PAC)学習理論について検討する。 いくつかのシナリオにおいて、OOD検出の学習性に関するいくつかの不確実性定理を証明した。 そこで我々は,OOD検出の学習性を評価するために必要な条件をいくつか提示する。
• 参考スコア（独自算出の注目度）: 46.9442031620796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised learning aims to train a classifier under the assumption that training and test data are from the same distribution. To ease the above assumption, researchers have studied a more realistic setting: out-of-distribution (OOD) detection, where test data may come from classes that are unknown during training (i.e., OOD data). Due to the unavailability and diversity of OOD data, good generalization ability is crucial for effective OOD detection algorithms, and corresponding learning theory is still an open problem. To study the generalization of OOD detection, this paper investigates the probably approximately correct (PAC) learning theory of OOD detection that fits the commonly used evaluation metrics in the literature. First, we find a necessary condition for the learnability of OOD detection. Then, using this condition, we prove several impossibility theorems for the learnability of OOD detection under some scenarios. Although the impossibility theorems are frustrating, we find that some conditions of these impossibility theorems may not hold in some practical scenarios. Based on this observation, we next give several necessary and sufficient conditions to characterize the learnability of OOD detection in some practical scenarios. Lastly, we offer theoretical support for representative OOD detection works based on our OOD theory.
• Abstract（参考訳）: 教師付き学習は、トレーニングとテストデータが同じ分布から来ているという仮定のもと、分類器を訓練することを目的としている。 上記の仮定を緩和するために、研究者たちはより現実的な設定、すなわちOODデータ(out-of-distribution)検出(out-of-distriion:OOD)を研究した。 OODデータの有効性や多様性のため、有効なOOD検出アルゴリズムには優れた一般化能力が不可欠であり、それに対応する学習理論は依然として未解決の課題である。 OOD検出の一般化を研究するために,本論文では,OOD検出のほぼ正しい(PAC)学習理論について検討する。 まず,OOD検出の学習性に必要条件を見出す。 そして,この条件を用いて,OOD検出の学習可能性に関するいくつかの不合理性定理をいくつかのシナリオで証明する。 不合理性定理はフラストレーション的であるが、これらの不合理性定理のいくつかの条件はいくつかの現実的なシナリオでは成立しないかもしれない。 そこで本研究では,OOD検出の学習性を評価するために必要かつ十分な条件をいくつか提示する。 最後に、OOD理論に基づくOOD検出の代表的作業に対する理論的支援を提供する。

関連論文リスト

• Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
  ID分布のセマンティック空間をより正確に定義する。 また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
  論文  参考訳（メタデータ） (2024-11-18T03:09:39Z)
• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
  アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。 提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
  論文  参考訳（メタデータ） (2024-07-23T12:28:59Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection [28.810524375810736]
  アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。 事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。 距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:42:44Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Is Out-of-Distribution Detection Learnable? [45.377641783085046]
  我々は,OOD検出のほぼ正解(PAC)学習理論について検討した。 いくつかのシナリオにおいて、OOD検出の学習性に関するいくつかの不確実性定理を証明した。 そこで我々は,OOD検出の学習性を評価するために必要な条件をいくつか提示する。
  論文  参考訳（メタデータ） (2022-10-26T13:35:19Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。