論文の概要: Can Pre-trained Networks Detect Familiar Out-of-Distribution Data?
- arxiv url: http://arxiv.org/abs/2310.00847v2
- Date: Thu, 12 Oct 2023 08:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-15 14:56:32.003190
- Title: Can Pre-trained Networks Detect Familiar Out-of-Distribution Data?
- Title（参考訳）: 事前学習したネットワークは不慣れな配布データを検出することができるか?
- Authors: Atsuyuki Miyai, Qing Yu, Go Irie, Kiyoharu Aizawa
- Abstract要約: PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。
特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。
本稿では,大規模事前学習モデルに対する一意な解を提案する。
- 参考スコア（独自算出の注目度）: 37.36999826208225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection is critical for safety-sensitive machine
learning applications and has been extensively studied, yielding a plethora of
methods developed in the literature. However, most studies for OOD detection
did not use pre-trained models and trained a backbone from scratch. In recent
years, transferring knowledge from large pre-trained models to downstream tasks
by lightweight tuning has become mainstream for training in-distribution (ID)
classifiers. To bridge the gap between the practice of OOD detection and
current classifiers, the unique and crucial problem is that the samples whose
information networks know often come as OOD input. We consider that such data
may significantly affect the performance of large pre-trained networks because
the discriminability of these OOD data depends on the pre-training algorithm.
Here, we define such OOD data as PT-OOD (Pre-Trained OOD) data. In this paper,
we aim to reveal the effect of PT-OOD on the OOD detection performance of
pre-trained networks from the perspective of pre-training algorithms. To
achieve this, we explore the PT-OOD detection performance of supervised and
self-supervised pre-training algorithms with linear-probing tuning, the most
common efficient tuning method. Through our experiments and analysis, we find
that the low linear separability of PT-OOD in the feature space heavily
degrades the PT-OOD detection performance, and self-supervised models are more
vulnerable to PT-OOD than supervised pre-trained models, even with
state-of-the-art detection methods. To solve this vulnerability, we further
propose a unique solution to large-scale pre-trained models: Leveraging
powerful instance-by-instance discriminative representations of pre-trained
models and detecting OOD in the feature space independent of the ID decision
boundaries. The code will be available via https://github.com/AtsuMiyai/PT-OOD.
- Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、安全に敏感な機械学習アプリケーションには不可欠であり、広く研究され、文献で開発された多くの手法が生み出されている。
しかし、OOD検出のためのほとんどの研究は、事前訓練されたモデルを使用しず、スクラッチから背骨を訓練した。
近年,大規模な事前学習モデルから軽量チューニングによる下流タスクへの知識伝達が,ID分類器の訓練において主流となっている。
OOD検出と現在の分類器のギャップを埋めるためには、情報ネットワークがよく知っているサンプルがOOD入力として現れるのが特徴的で重要な問題である。
このようなデータは, oodデータの識別性が事前学習アルゴリズムに依存するため, 大規模事前学習ネットワークの性能に大きく影響すると考えられる。
本稿では,これらのOODデータをPT-OOD(Pre-Trained OOD)データとして定義する。
本稿では,事前学習アルゴリズムの観点から,PT-OODが事前学習ネットワークのOOD検出性能に与える影響を明らかにすることを目的とする。
そこで本研究では,線形探索チューニングを用いた教師付きおよび自己教師付き事前学習アルゴリズムのPT-OOD検出性能について検討する。
実験と分析により,pt-oodの低線形分離性はpt-ood検出性能を著しく低下させ,自己教師付きモデルは教師付き事前学習モデルよりもpt-oodに対して脆弱であることが判明した。
この脆弱性を解決するために,我々は,事前学習モデルの強力なインスタンス別識別表現と,id決定境界に依存しない特徴空間におけるoodの検出という,大規模事前学習モデルに対するユニークな解決策を提案する。
コードはhttps://github.com/AtsuMiyai/PT-OOD.comから入手できる。
関連論文リスト
- Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for
Out-of-Domain Detection [28.810524375810736]
アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。
事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。
距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
論文 参考訳（メタデータ） (2023-05-22T17:42:44Z) - AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。
本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
論文 参考訳（メタデータ） (2023-03-22T02:28:54Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。
現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。
これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。
我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
論文 参考訳（メタデータ） (2023-02-21T21:31:20Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - How Useful are Gradients for OOD Detection Really? [5.459639971144757]
Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。
OOD検出のための勾配法を詳細に解析し,比較する。
本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-05-20T21:10:05Z) - EARLIN: Early Out-of-Distribution Detection for Resource-efficient
Collaborative Inference [4.826988182025783]
協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。
このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。
我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
論文 参考訳（メタデータ） (2021-06-25T18:43:23Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。