論文の概要: CoMatch: Semi-supervised Learning with Contrastive Graph Regularization

• arxiv url: http://arxiv.org/abs/2011.11183v2
• Date: Wed, 3 Mar 2021 01:58:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 01:37:10.213033
• Title: CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
• Title（参考訳）: CoMatch: コントラストグラフ規則化による半教師あり学習
• Authors: Junnan Li, Caiming Xiong, Steven Hoi
• Abstract要約: CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。 複数のデータセット上で最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 86.84486065798735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised learning has been an effective paradigm for leveraging unlabeled data to reduce the reliance on labeled data. We propose CoMatch, a new semi-supervised learning method that unifies dominant approaches and addresses their limitations. CoMatch jointly learns two representations of the training data, their class probabilities and low-dimensional embeddings. The two representations interact with each other to jointly evolve. The embeddings impose a smoothness constraint on the class probabilities to improve the pseudo-labels, whereas the pseudo-labels regularize the structure of the embeddings through graph-based contrastive learning. CoMatch achieves state-of-the-art performance on multiple datasets. It achieves substantial accuracy improvements on the label-scarce CIFAR-10 and STL-10. On ImageNet with 1% labels, CoMatch achieves a top-1 accuracy of 66.0%, outperforming FixMatch by 12.6%. Furthermore, CoMatch achieves better representation learning performance on downstream tasks, outperforming both supervised learning and self-supervised learning. Code and pre-trained models are available at https://github.com/salesforce/CoMatch.
• Abstract（参考訳）: 半教師あり学習はラベルなしのデータを利用してラベル付きデータへの依存を減らす効果的なパラダイムである。 本稿では,支配的アプローチを統一し,その制限に対処する新しい半教師付き学習手法であるcomatchを提案する。 CoMatchはトレーニングデータの2つの表現、クラス確率と低次元埋め込みを共同で学習する。 2つの表現は互いに相互作用し、共同で進化する。 埋め込みは擬似ラベルを改善するためにクラス確率に滑らかさの制約を課すが、擬似ラベルはグラフベースのコントラスト学習を通じて埋め込みの構造を規則化する。 CoMatchは、複数のデータセットで最先端のパフォーマンスを達成する。 ラベルスカース CIFAR-10 と STL-10 の精度を大幅に向上させる。 1%のラベルを持つImageNetでは、トップ1の精度は66.0%に達し、FixMatchを12.6%上回っている。 さらに、CoMatchは下流タスクでの表現学習性能の向上を実現し、教師付き学習と自己教師型学習の両方に優れています。 コードと事前トレーニングされたモデルはhttps://github.com/salesforce/CoMatch.comで入手できる。

関連論文リスト

• DualMatch: Robust Semi-Supervised Learning with Dual-Level Interaction [10.775623936099173]
  従来の半教師付き学習手法は、通常、異なるデータ拡張ビューのモデル予測を単一レベルのインタラクション方法で一致させる。 本稿では,DualMatchと呼ばれる新しいSSL方式を提案する。 標準SSL設定では、SOTA法と比較して9%のエラー削減が達成されるが、より困難なクラス不均衡設定でも6%のエラー削減が達成できる。
  論文  参考訳（メタデータ） (2023-10-25T08:34:05Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
  半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
  論文  参考訳（メタデータ） (2023-03-20T12:44:11Z)
• Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks [68.36996813591425]
  Dense FixMatchは,高密度かつ構造化された予測タスクのオンライン半教師付き学習のための簡易な手法である。 我々は、擬似ラベルにマッチング操作を追加することにより、画像分類を超えた半教師付き学習問題にFixMatchの適用を可能にする。 Dense FixMatchは、ラベル付きデータのみを使用して教師付き学習と比較すると、結果を著しく改善し、ラベル付きサンプルの1/4でそのパフォーマンスに近づいた。
  論文  参考訳（メタデータ） (2022-10-18T15:02:51Z)
• FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning [46.95063831057502]
  本稿では,モデルの学習状況に応じて,信頼度閾値を自己適応的に定義・調整するためのemphFreeMatchを提案する。 FreeMatchは、最新の最先端メソッドであるFlexMatchよりもtextbf5.78%、textbf13.59%、textbf1.28%のエラー率削減を実現している。
  論文  参考訳（メタデータ） (2022-05-15T10:07:52Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification [24.386165255835063]
  一般的な分類タスクの状況は、トレーニングに利用可能な大量のデータを持っているが、クラスラベルを持つのはごく一部である。 この文脈で、半監督トレーニングの目標は、大量のラベルのないデータからの情報を利用して分類精度を向上させることです。 本研究では,相互に類似した高信頼度ラベル付きデータ間の研究の少ない関係に焦点をあてた,教師なしの新たな目的を提案する。 提案したSimPLEアルゴリズムは,CIFAR-100およびMini-ImageNetにおける従来のアルゴリズムと比較して有意な性能向上を示した。
  論文  参考訳（メタデータ） (2021-03-30T23:48:06Z)
• i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning [117.63815437385321]
  対照的な表現学習を改善するために, 単純で効果的なドメインに依存しない正規化戦略i-Mixを提案する。 実験では、i-Mixはドメイン間の学習表現の質を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2020-10-17T23:32:26Z)
• FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。 本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。 筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。