論文の概要: RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss

• arxiv url: http://arxiv.org/abs/2110.04430v1
• Date: Sat, 9 Oct 2021 01:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 17:36:25.433032
• Title: RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss
• Title（参考訳）: RankingMatch: 一貫性の規則化とランク付け損失による半監督的な学習に生き残る
• Authors: Trung Q. Tran, Mingu Kang, Daeyoung Kim
• Abstract要約: ラベル付きデータに制限がある場合、ラベル付きデータを活用する上で、半教師付き学習(SSL)が重要な役割を果たす。 そこで我々は,摂動入力だけでなく,同じラベルを持つ入力間の類似性も考慮する新しい手法である RankingMatch を提案する。 当社の RankingMatch は,さまざまなラベル付きデータ量を持つ標準SSLベンチマークにおいて,最先端のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 3.5893231087319655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised learning (SSL) has played an important role in leveraging unlabeled data when labeled data is limited. One of the most successful SSL approaches is based on consistency regularization, which encourages the model to produce unchanged with perturbed input. However, there has been less attention spent on inputs that have the same label. Motivated by the observation that the inputs having the same label should have the similar model outputs, we propose a novel method, RankingMatch, that considers not only the perturbed inputs but also the similarity among the inputs having the same label. We especially introduce a new objective function, dubbed BatchMean Triplet loss, which has the advantage of computational efficiency while taking into account all input samples. Our RankingMatch achieves state-of-the-art performance across many standard SSL benchmarks with a variety of labeled data amounts, including 95.13% accuracy on CIFAR-10 with 250 labels, 77.65% accuracy on CIFAR-100 with 10000 labels, 97.76% accuracy on SVHN with 250 labels, and 97.77% accuracy on SVHN with 1000 labels. We also perform an ablation study to prove the efficacy of the proposed BatchMean Triplet loss against existing versions of Triplet loss.
• Abstract（参考訳）: 半教師付き学習(ssl)はラベル付きデータの制限時にラベルなしデータを活用する上で重要な役割を担っている。 最も成功したSSLアプローチの1つは一貫性の規則化に基づいている。 しかし、同じラベルを持つ入力に対する注意は少なくなっている。 同一ラベルを持つ入力が類似したモデル出力を持つべきであるという観測結果から,摂動入力だけでなく,同一ラベルを持つ入力間の類似性も考慮した新しい手法である RankingMatch を提案する。 特に,BatchMean Triplet lossと呼ばれる新たな目的関数を導入し,全ての入力サンプルを考慮に入れながら,計算効率の利点を生かした。 我々の RankingMatch は CIFAR-10 で 250 ラベルの 95.13% の精度、CIFAR-100 で 10000 ラベルの 77.65% の精度、SVHN で 250 ラベルの 97.76% の精度、SVHN で 1000 ラベルの 97.77% の精度など、様々なラベル付きデータ量を持つ多くの標準SSL ベンチマークで最先端のパフォーマンスを実現している。 また,既存のトリプルト損失に対するBatchMean Triplet損失の有効性を検証するためのアブレーション研究を行った。

関連論文リスト

• InterLUDE: Interactions between Labeled and Unlabeled Data to Enhance Semi-Supervised Learning [13.010558192697133]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方でトレーニングすることでタスクパフォーマンスを向上させる。 本稿では,ラベル付きラベルなしインタラクションの恩恵を受ける2つの部分からなるSSLを強化するための新しいアプローチであるInterLUDEを紹介する。
  論文  参考訳（メタデータ） (2024-03-15T19:54:10Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• MarginMatch: Improving Semi-Supervised Learning with Pseudo-Margins [73.17295479535161]
  MarginMatchは、一貫性の正規化と擬似ラベルを組み合わせた新しいSSLアプローチである。 トレーニングが進むにつれて、擬似ラベル付きモデル上でのモデルの振る舞いを分析し、低品質な予測が隠蔽されることを確かめる。 CIFAR-100では,クラス毎に25ラベル,STL-10では3.78%,クラス毎に4ラベルで3.25%の誤差率向上を実現した。
  論文  参考訳（メタデータ） (2023-08-17T15:19:04Z)
• FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning [46.95063831057502]
  本稿では,モデルの学習状況に応じて,信頼度閾値を自己適応的に定義・調整するためのemphFreeMatchを提案する。 FreeMatchは、最新の最先端メソッドであるFlexMatchよりもtextbf5.78%、textbf13.59%、textbf1.28%のエラー率削減を実現している。
  論文  参考訳（メタデータ） (2022-05-15T10:07:52Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers [71.08167292329028]
  我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。 OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。 3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-28T23:57:15Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Semi-Supervised Learning with Data Augmentation for End-to-End ASR [4.878819328459915]
  我々は、画像分類タスクにうまく適用された整合正則化原理に着目する。 We present sequence-to-sequence (seq2seq) version of the FixMatch and Noisy Students algorithm。
  論文  参考訳（メタデータ） (2020-07-27T21:24:52Z)
• FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。 本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。 筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。