論文の概要: USB: A Unified Semi-supervised Learning Benchmark

• arxiv url: http://arxiv.org/abs/2208.07204v1
• Date: Fri, 12 Aug 2022 15:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 12:55:49.696384
• Title: USB: A Unified Semi-supervised Learning Benchmark
• Title（参考訳）: usb: 半教師付き学習ベンチマーク
• Authors: Yidong Wang, Hao Chen, Yue Fan, Wang Sun, Ran Tao, Wenxin Hou, Renjie Wang, Linyi Yang, Zhi Zhou, Lan-Zhe Guo, Heli Qi, Zhen Wu, Yu-Feng Li, Satoshi Nakamura, Wei Ye, Marios Savvides, Bhiksha Raj, Takahiro Shinozaki, Bernt Schiele, Jindong Wang, Xing Xie, Yue Zhang
• Abstract要約: 半教師付き学習(SSL)は、大量のラベルのないデータを活用して、限定されたラベル付きサンプルを増やすことにより、モデルの一般化を改善する。 これまでの研究は通常、深層ニューラルネットワークをゼロから訓練するが、それは時間がかかり、環境に優しいものではない。 我々は、15の多様な、挑戦的で包括的なタスクを選択して、統一SSLベンチマーク(USB)を構築します。
• 参考スコア（独自算出の注目度）: 125.25384569880525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semi-supervised learning (SSL) improves model generalization by leveraging massive unlabeled data to augment limited labeled samples. However, currently, popular SSL evaluation protocols are often constrained to computer vision (CV) tasks. In addition, previous work typically trains deep neural networks from scratch, which is time-consuming and environmentally unfriendly. To address the above issues, we construct a Unified SSL Benchmark (USB) by selecting 15 diverse, challenging, and comprehensive tasks from CV, natural language processing (NLP), and audio processing (Audio), on which we systematically evaluate dominant SSL methods, and also open-source a modular and extensible codebase for fair evaluation on these SSL methods. We further provide pre-trained versions of the state-of-the-art neural models for CV tasks to make the cost affordable for further tuning. USB enables the evaluation of a single SSL algorithm on more tasks from multiple domains but with less cost. Specifically, on a single NVIDIA V100, only 37 GPU days are required to evaluate FixMatch on 15 tasks in USB while 335 GPU days (279 GPU days on 4 CV datasets except for ImageNet) are needed on 5 CV tasks with the typical protocol.
• Abstract（参考訳）: semi-supervised learning (ssl) は、限定されたラベル付きサンプルを増強するために大量のラベルなしデータを活用することで、モデルの一般化を改善する。 しかし、現在一般的なSSL評価プロトコルはコンピュータビジョン(CV)タスクに制約されることが多い。 さらに、従来の研究は通常、時間を要する、環境にやさしい、ディープニューラルネットワークをスクラッチからトレーニングする。 以上の課題に対処するため,CV,自然言語処理(NLP),オーディオ処理(Audio)から15種類の多種多様なタスクを選択して,一貫したSSLベンチマーク(USB)を構築するとともに,これらのSSLメソッドを公平に評価するためのモジュールで拡張可能なコードベースをオープンソース化した。 さらに、CVタスクのための最先端ニューラルネットワークのトレーニング済みバージョンを提供し、さらなるチューニングのためにコストを安くする。 USBにより、複数のドメインからより多くのタスクに対して単一のSSLアルゴリズムを、低コストで評価することができる。 具体的には、単一のNVIDIA V100では、USBで15のタスクでFixMatchを評価するのに37日しか必要とせず、335のGPU日(ImageNet以外の4のCVデータセットで279日)は典型的なプロトコルで5のCVタスクで必要である。

関連論文リスト

• Exploring Green AI for Audio Deepfake Detection [21.17957700009653]
  ディープニューラルネットワークを利用した最先端のオーディオディープフェイク検出器は、印象的な認識性能を示している。 ディープNLPモデルはCOtextsubscript2の約626klbのCOtextsubscript2を生成する。 そこで本研究では,標準CPUリソースを用いてシームレスにトレーニング可能な,オーディオディープフェイク検出のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T10:54:21Z)
• Visual Self-supervised Learning Scheme for Dense Prediction Tasks on X-ray Images [3.782392436834913]
  自己教師付き学習(SSL)は自然言語処理(NLP)においてかなりの進歩をもたらした しかし、既存のビジュアルSSLモデルにコントラスト学習を組み込むことは、しばしば監督対象を超越する、かなりの進歩をもたらした。 ここでは、セキュリティ検査X線画像を用いた密集予測タスクに着目し、提案モデルであるセグメントローカライゼーション(SegLoc)を評価する。 インスタンスローカライゼーション(InsLoc)モデルに基づいて、SegLocはコントラスト学習における重要な課題の1つ、すなわち、クエリ埋め込みの偽陰性ペアに対処する。
  論文  参考訳（メタデータ） (2023-10-12T15:42:17Z)
• Joint Prediction and Denoising for Large-scale Multilingual Self-supervised Learning [69.77973092264338]
  我々は、より強力な技術がより効率的な事前トレーニングをもたらし、SSLをより多くの研究グループに開放することを示します。 我々は,WavLMのジョイント予測を拡張し,136言語にまたがる40k時間のデータをデノベーションするWavLabLMを提案する。 このモデルではXLS-Rの性能を94%維持でき、データの3%しか保持できない。
  論文  参考訳（メタデータ） (2023-09-26T23:55:57Z)
• Match to Win: Analysing Sequences Lengths for Efficient Self-supervised Learning in Speech and Audio [19.865050806327147]
  自己教師型学習は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。 本稿では、特定配列長の異なるSSL事前トレーニングに関する最初の実証的研究について述べる。 ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T16:35:42Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• Generative Zero-Shot Learning for Semantic Segmentation of 3D Point Cloud [79.99653758293277]
  本稿では,ZSL(Zero-Shot Learning)とGZSL(Generalized ZSL)の両方を3次元データ上に生成する手法を提案する。 インダクティブZSLとインダクティブGZSLの両方に対して,ModelNet40分類における技術状況に到達または向上することを示す。 実験の結果,本手法は強いベースラインよりも優れており,さらに本手法を提案する。
  論文  参考訳（メタデータ） (2021-08-13T13:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。