論文の概要: Q-Match: Self-supervised Learning by Matching Distributions Induced by a Queue

• arxiv url: http://arxiv.org/abs/2302.05444v1
• Date: Fri, 10 Feb 2023 18:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 14:59:16.349380
• Title: Q-Match: Self-supervised Learning by Matching Distributions Induced by a Queue
• Title（参考訳）: q-match: キューによるマッチング分布による自己教師付き学習
• Authors: Thomas Mulc and Debidatta Dwibedi
• Abstract要約: 提案アルゴリズムであるQ-Matchを導入し,下流クラスに関する知識を必要とせずに,生徒と教師の分布を推定可能であることを示す。 本手法は, ダウンストリームトレーニングに必要なラベルと事前学習に必要なラベルなしデータの量の両方を指標として, サンプリング効率が高く, ラベル付きデータとラベルなしデータの双方のサイズによく対応していることを示す。
• 参考スコア（独自算出の注目度）: 6.1678491628787455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In semi-supervised learning, student-teacher distribution matching has been successful in improving performance of models using unlabeled data in conjunction with few labeled samples. In this paper, we aim to replicate that success in the self-supervised setup where we do not have access to any labeled data during pre-training. We introduce our algorithm, Q-Match, and show it is possible to induce the student-teacher distributions without any knowledge of downstream classes by using a queue of embeddings of samples from the unlabeled dataset. We focus our study on tabular datasets and show that Q-Match outperforms previous self-supervised learning techniques when measuring downstream classification performance. Furthermore, we show that our method is sample efficient--in terms of both the labels required for downstream training and the amount of unlabeled data required for pre-training--and scales well to the sizes of both the labeled and unlabeled data.
• Abstract（参考訳）: 半教師付き学習において,教師と教師の分散マッチングは,ラベルなしデータと少数のラベル付きサンプルを用いたモデルの性能向上に成功している。 本稿では,事前学習中にラベル付きデータにアクセスできない自己教師付きセットアップで,その成功を再現することを目的とする。 提案手法であるqマッチングを導入し,ラベルなしデータセットからのサンプル埋め込みのキューを用いて,ダウンストリームクラスの知識を必要とせずに,生徒-教師分布を誘導できることを示す。 本研究は, 表形式のデータセットに着目し, 下流分類性能の測定において, Q-Matchが従来の自己教師付き学習技術より優れていることを示す。 さらに,提案手法は,ダウンストリームトレーニングに必要なラベルと事前トレーニングに必要なラベルなしデータ量の両方について,効率的なサンプル分析を行い,ラベル付きデータとラベルなしデータの両方のサイズによく適合することを示す。

関連論文リスト

• Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling [6.771578432805963]
  アクティブラーニングは、ラベルなしサンプルの選択を自動化することで、データラベリングに関わる労力を軽減することを目的としている。 トレーニング中に大量のラベルのないデータの使用を大幅に改善する新しい手法を導入する。 様々な画像分類およびセグメンテーションベンチマークデータセットにおける技術状況に対するアプローチの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-23T00:35:07Z)
• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Enhancing Self-Training Methods [0.0]
  半教師付き学習アプローチでは、ラベル付きデータの小さなセットとラベルなしデータの大きなセットをトレーニングする。 自己学習は「確認バイアス」の問題に悩まされる半教師型教師学生のアプローチである
  論文  参考訳（メタデータ） (2023-01-18T03:56:17Z)
• AuxMix: Semi-Supervised Learning with Unconstrained Unlabeled Data [6.633920993895286]
  我々は,現在最先端のSSLアルゴリズムが,ラベルなし補助データの存在下での性能低下に悩まされていることを示す。 ラベル付き集合にセマンティックに似ていない補助データを隠すために,自己教師付き学習タスクを活用して汎用的な特徴を学習するアルゴリズムであるAuxMixを提案する。
  論文  参考訳（メタデータ） (2022-06-14T16:25:20Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification [0.0]
  この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。 その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-17T06:43:05Z)
• Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
  オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。 注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。 当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
  論文  参考訳（メタデータ） (2020-12-21T12:25:04Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。