論文の概要: Exploring the Limits of Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2106.03004v1
• Date: Sun, 6 Jun 2021 01:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:52:51.654087
• Title: Exploring the Limits of Out-of-Distribution Detection
• Title（参考訳）: out-of-distribution detectionの限界を探る
• Authors: Stanislav Fort, Jie Ren, Balaji Lakshminarayanan
• Abstract要約: 大規模事前学習型トランスフォーマーはOODタスクに近い範囲における最先端(SOTA)を大幅に改善できることを示す。 CLIPのようなマルチモーダルな画像テキスト事前学習型トランスフォーマーでは、情報ソースとして単にoutlierクラスの名前を使用する新しい方法を模索する。
• 参考スコア（独自算出の注目度）: 19.023364576039306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Near out-of-distribution detection (OOD) is a major challenge for deep neural networks. We demonstrate that large-scale pre-trained transformers can significantly improve the state-of-the-art (SOTA) on a range of near OOD tasks across different data modalities. For instance, on CIFAR-100 vs CIFAR-10 OOD detection, we improve the AUROC from 85% (current SOTA) to more than 96% using Vision Transformers pre-trained on ImageNet-21k. On a challenging genomics OOD detection benchmark, we improve the AUROC from 66% to 77% using transformers and unsupervised pre-training. To further improve performance, we explore the few-shot outlier exposure setting where a few examples from outlier classes may be available; we show that pre-trained transformers are particularly well-suited for outlier exposure, and that the AUROC of OOD detection on CIFAR-100 vs CIFAR-10 can be improved to 98.7% with just 1 image per OOD class, and 99.46% with 10 images per OOD class. For multi-modal image-text pre-trained transformers such as CLIP, we explore a new way of using just the names of outlier classes as a sole source of information without any accompanying images, and show that this outperforms previous SOTA on standard vision OOD benchmark tasks.
• Abstract（参考訳）: 奥行き検出(OOD)は、ディープニューラルネットワークにおいて大きな課題である。 我々は、大規模事前学習型トランスフォーマーが、様々なデータモダリティにまたがる近OODタスクにおける最先端(SOTA)を大幅に改善できることを実証した。 例えば、CIFAR-100とCIFAR-10のOOD検出では、ImageNet-21kで事前トレーニングされたビジョントランスフォーマーを使用して、AUROCを85%(現在のSOTA)から96%以上改善する。 挑戦的ゲノミクスOOD検出ベンチマークでは、トランスフォーマーと教師なし事前学習を用いて、AUROCを66%から77%改善する。 さらに性能向上のために,アウトリーバークラスの例を数例挙げた,少数ショットのアウトリーバー露光設定について検討し,プリトレーニングトランスフォーマは特にアウトリーバー露光に適しており,cifar-100対cifar-10におけるood検出のaurocは,oodクラスあたり1イメージで98.7%,oodクラス毎に10イメージで99.46%改善できることを示した。 CLIPのようなマルチモーダルな画像テキスト事前学習型トランスフォーマーでは、外部クラスの名前のみを付随する画像のない情報のソースとして使用する新たな方法を探り、標準ビジョンOODベンチマークタスクにおいて、従来のSOTAよりも優れていることを示す。

関連論文リスト

• MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
  本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。 当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
  論文  参考訳（メタデータ） (2024-01-05T02:57:58Z)
• Scaling for Training Time and Post-hoc Out-of-distribution Detection Enhancement [41.650761556671775]
  本稿では,最近の最先端のアウト・オブ・ディストリビューション(OOD)検出手法に関する知見と分析を行う。 我々は,活性化拡大がOOD検出に有害な影響を及ぼす一方で,活性化スケーリングが促進されることを実証した。 OpenOOD v1.5 ImageNet-1Kベンチマークで、AUROCスコアは、近OODでは+1.85%、遠OODデータセットでは+0.74%である。
  論文  参考訳（メタデータ） (2023-09-30T02:10:54Z)
• Combining pre-trained Vision Transformers and CIDER for Out Of Domain Detection [0.774971301405295]
  ほとんどの産業用パイプラインは、CNNやVision Transformersのような下流タスクのための事前訓練されたモデルに依存している。 本稿では,ドメイン外検出におけるモデルの性能について検討する。
  論文  参考訳（メタデータ） (2023-09-06T14:41:55Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Adversarial vulnerability of powerful near out-of-distribution detection [8.446798721296906]
  我々は,現在最強のOOD検出技術でさえも,深刻な敵意の脆弱性を示す。 入力画素に対する小さな目標摂動により、画像割当を非分布から非分布へ、簡単に変更することができる。
  論文  参考訳（メタデータ） (2022-01-18T14:23:07Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
  インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-26T20:58:05Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。