論文の概要: Understanding the Role of Self-Supervised Learning in Out-of-Distribution Detection Task

• arxiv url: http://arxiv.org/abs/2110.13435v1
• Date: Tue, 26 Oct 2021 06:29:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 03:46:06.659644
• Title: Understanding the Role of Self-Supervised Learning in Out-of-Distribution Detection Task
• Title（参考訳）: 分散検出タスクにおける自己教師あり学習の役割の理解
• Authors: Jiuhai Chen, Chen Zhu, Bin Dai
• Abstract要約: 自己教師付き学習(SSL)は様々なコンピュータビジョンタスクで大きな成功を収めた。 本稿では,SSL がout-of-distriion (OOD) 検出タスクの性能を向上する方法について検討する。
• 参考スコア（独自算出の注目度）: 20.44456935060867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has achieved great success in a variety of computer vision tasks. However, the mechanism of how SSL works in these tasks remains a mystery. In this paper, we study how SSL can enhance the performance of the out-of-distribution (OOD) detection task. We first point out two general properties that a good OOD detector should have: 1) the overall feature space should be large and 2) the inlier feature space should be small. Then we demonstrate that SSL can indeed increase the intrinsic dimension of the overall feature space. In the meantime, SSL even has the potential to shrink the inlier feature space. As a result, there will be more space spared for the outliers, making OOD detection much easier. The conditions when SSL can shrink the inlier feature space is also discussed and validated. By understanding the role of SSL in the OOD detection task, our study can provide a guideline for designing better OOD detection algorithms. Moreover, this work can also shed light to other tasks where SSL can improve the performance.
• Abstract（参考訳）: 自己教師付き学習(SSL)は様々なコンピュータビジョンタスクで大きな成功を収めた。 しかし、これらのタスクにおけるSSLの仕組みは謎のままである。 本稿では,SSL がout-of-distriion (OOD) 検出タスクの性能を向上する方法について検討する。 まず、良いOOD検出器が持つべき2つの一般的な特性を指摘した。 1) 全体的な機能空間は、大きく、そして、 2)不利な特徴空間は小さくなければならない。 そして、SSLが機能空間全体の本質的な次元を実際に増加させることができることを示す。 一方SSLには、不適切な機能領域を縮小する可能性さえある。 その結果、OOD検出がより容易になるように、アウトリーチのためにより多くのスペースが確保されることになる。 SSLが不利な特徴空間を縮小できる条件についても議論し、検証する。 OOD検出タスクにおけるSSLの役割を理解することにより、より優れたOOD検出アルゴリズムを設計するためのガイドラインを提供することができる。 さらに、SSLがパフォーマンスを改善する他のタスクにも光を当てることができる。

関連論文リスト

• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。 特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• Demystifying How Self-Supervised Features Improve Training from Noisy Labels [16.281091780103736]
  ネットワークがラベルノイズに抵抗する理由と自己教師機能について検討する。 その結果,SSLから事前学習した品質エンコーダでは,クロスエントロピー損失によって訓練された単純な線形層が対称ラベルノイズに対して理論的に堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T05:41:57Z)
• The Rich Get Richer: Disparate Impact of Semi-Supervised Learning [22.37601266333974]
  半教師付き学習(SSL)は、様々な学習タスクのモデル精度を改善する可能性を実証している。 SSLがサブポピュレーションにどう影響するかは不明だ。 我々は,新たな指標であるベネフィット比を導入し,SSLの公平性の評価を促進する。
  論文  参考訳（メタデータ） (2021-10-12T19:05:06Z)
• UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training [72.004873454347]
  教師なし話者情報抽出の2つの手法が導入された。 SUPERBベンチマークによる実験結果から,提案方式は最先端の性能を実現することが示された。 トレーニングデータセットを94万時間公開オーディオデータにスケールアップし、さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-10-12T05:43:30Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• How Self-Supervised Learning Can be Used for Fine-Grained Head Pose Estimation? [2.0625936401496237]
  SSLはどのようにしてヘッドポーズ推定に使えるのか? SSLプリテキストタスクとしてジグソーパズリングとローテーションの修正版が使用されている。 HTML メソッドによる誤り率の 11% を SL と比較した。
  論文  参考訳（メタデータ） (2021-08-10T19:34:45Z)
• LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech [63.84741259993937]
  膨大なラベルのないデータを用いた自己教師付き学習(SSL)は、画像処理と自然言語処理に成功している。 最近の研究では、音声からSSLも調べた。 音声からSSLを評価する再現可能なフレームワークであるLeBenchmarkを提案する。
  論文  参考訳（メタデータ） (2021-04-23T08:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。