論文の概要: Is Out-of-Distribution Detection Learnable?
- arxiv url: http://arxiv.org/abs/2210.14707v1
- Date: Wed, 26 Oct 2022 13:35:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 13:29:57.290474
- Title: Is Out-of-Distribution Detection Learnable?
- Title(参考訳): アウト・オブ・ディストリビューション検出は学習可能か?
- Authors: Zhen Fang, Yixuan Li, Jie Lu, Jiahua Dong, Bo Han, Feng Liu
- Abstract要約: 我々は,OOD検出のほぼ正解(PAC)学習理論について検討した。
いくつかのシナリオにおいて、OOD検出の学習性に関するいくつかの不確実性定理を証明した。
そこで我々は,OOD検出の学習性を評価するために必要な条件をいくつか提示する。
- 参考スコア(独自算出の注目度): 45.377641783085046
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Supervised learning aims to train a classifier under the assumption that
training and test data are from the same distribution. To ease the above
assumption, researchers have studied a more realistic setting:
out-of-distribution (OOD) detection, where test data may come from classes that
are unknown during training (i.e., OOD data). Due to the unavailability and
diversity of OOD data, good generalization ability is crucial for effective OOD
detection algorithms. To study the generalization of OOD detection, in this
paper, we investigate the probably approximately correct (PAC) learning theory
of OOD detection, which is proposed by researchers as an open problem. First,
we find a necessary condition for the learnability of OOD detection. Then,
using this condition, we prove several impossibility theorems for the
learnability of OOD detection under some scenarios. Although the impossibility
theorems are frustrating, we find that some conditions of these impossibility
theorems may not hold in some practical scenarios. Based on this observation,
we next give several necessary and sufficient conditions to characterize the
learnability of OOD detection in some practical scenarios. Lastly, we also
offer theoretical supports for several representative OOD detection works based
on our OOD theory.
- Abstract(参考訳): 教師付き学習は、トレーニングとテストデータが同じ分布から来ているという仮定のもと、分類器を訓練することを目的としている。
上記の仮定を緩和するために、研究者たちはより現実的な設定、すなわちOODデータ(out-of-distribution)検出(out-of-distriion:OOD)を研究した。
OODデータの有効性や多様性のため、有効なOOD検出アルゴリズムには優れた一般化能力が不可欠である。
本稿では,OOD検出の一般化を検討するために,OOD検出のほぼ正しい学習理論(PAC)について検討する。
まず,OOD検出の学習性に必要条件を見出す。
そして,この条件を用いて,OOD検出の学習可能性に関するいくつかの不合理性定理をいくつかのシナリオで証明する。
不可能定理はいらいらするが、これらの不可能定理のいくつかの条件は、いくつかの実用的なシナリオでは成立しない可能性がある。
そこで本研究では,OOD検出の学習性を評価するために必要かつ十分な条件をいくつか提示する。
最後に、OOD理論に基づくいくつかの代表的なOOD検出作業に対する理論的支援も提供する。
関連論文リスト
- Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳(メタデータ) (2023-11-28T02:00:47Z) - Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。
特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。
本稿では,大規模事前学習モデルに対する一意な解を提案する。
論文 参考訳(メタデータ) (2023-10-02T02:01:00Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for
Out-of-Domain Detection [28.810524375810736]
アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。
事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。
距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
論文 参考訳(メタデータ) (2023-05-22T17:42:44Z) - Open-World Continual Learning: Unifying Novelty Detection and Continual
Learning [13.186315474669287]
本稿では,OOD検出がCILに実際に必要であることを理論的に証明する。
我々の理論に基づく優れたCILアルゴリズムは、オープンワールドラーニングにおいて自然に利用できる。
新たなCIL法も設計されており、CILの精度とOOD検出を大きなマージンで優れたベースラインを達成している。
論文 参考訳(メタデータ) (2023-04-20T01:32:32Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳(メタデータ) (2023-02-06T08:24:41Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳(メタデータ) (2022-10-17T14:32:02Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-06-26T20:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。