論文の概要: JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification

• arxiv url: http://arxiv.org/abs/2310.14583v1
• Date: Mon, 23 Oct 2023 05:43:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:19:53.983851
• Title: JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification
• Title（参考訳）: jointmatch: 半教師付きテキスト分類への多様かつ協調的な擬似ラベルの統一的アプローチ
• Authors: Henry Peng Zou, Cornelia Caragea
• Abstract要約: 半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
• 参考スコア（独自算出の注目度）: 65.268245109828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised text classification (SSTC) has gained increasing attention due to its ability to leverage unlabeled data. However, existing approaches based on pseudo-labeling suffer from the issues of pseudo-label bias and error accumulation. In this paper, we propose JointMatch, a holistic approach for SSTC that addresses these challenges by unifying ideas from recent semi-supervised learning and the task of learning with noise. JointMatch adaptively adjusts classwise thresholds based on the learning status of different classes to mitigate model bias towards current easy classes. Additionally, JointMatch alleviates error accumulation by utilizing two differently initialized networks to teach each other in a cross-labeling manner. To maintain divergence between the two networks for mutual learning, we introduce a strategy that weighs more disagreement data while also allowing the utilization of high-quality agreement data for training. Experimental results on benchmark datasets demonstrate the superior performance of JointMatch, achieving a significant 5.13% improvement on average. Notably, JointMatch delivers impressive results even in the extremely-scarce-label setting, obtaining 86% accuracy on AG News with only 5 labels per class. We make our code available at https://github.com/HenryPengZou/JointMatch.
• Abstract（参考訳）: 半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 しかしながら、疑似ラベルに基づく既存のアプローチは、疑似ラベルバイアスとエラー蓄積の問題に苦しむ。 本稿では,近年の半教師付き学習とノイズ学習の課題からアイデアを統一することで,これらの課題に対処するSSTCの総合的アプローチであるJointMatchを提案する。 JointMatchは、異なるクラスの学習状況に基づいて、クラスワイズ閾値を適応的に調整し、モデルバイアスを現在の簡単なクラスに緩和する。 さらに、JointMatchは、2つの異なる初期化ネットワークを利用して相互にラベルを交互に教えることでエラーの蓄積を軽減する。 相互学習のための2つのネットワーク間の相違を維持するために,より不一致データを重視しながら,高品質な合意データの活用を可能にする戦略を提案する。 ベンチマークデータセットにおける実験結果は、ジョイントマッチの優れたパフォーマンスを示し、平均で5.13%の改善を達成した。 特にjointmatchは、非常にスカースなラベル設定でも印象的な結果をもたらし、クラス毎に5つのラベルしか持たないag newsで86%の精度を得た。 コードはhttps://github.com/HenryPengZou/JointMatch.comで公開しています。

関連論文リスト

• RankMatch: A Novel Approach to Semi-Supervised Label Distribution Learning Leveraging Inter-label Correlations [52.549807652527306]
  本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。 RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。 我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-11T12:47:29Z)
• DualMatch: Robust Semi-Supervised Learning with Dual-Level Interaction [10.775623936099173]
  従来の半教師付き学習手法は、通常、異なるデータ拡張ビューのモデル予測を単一レベルのインタラクション方法で一致させる。 本稿では,DualMatchと呼ばれる新しいSSL方式を提案する。 標準SSL設定では、SOTA法と比較して9%のエラー削減が達成されるが、より困難なクラス不均衡設定でも6%のエラー削減が達成できる。
  論文  参考訳（メタデータ） (2023-10-25T08:34:05Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks [68.36996813591425]
  Dense FixMatchは,高密度かつ構造化された予測タスクのオンライン半教師付き学習のための簡易な手法である。 我々は、擬似ラベルにマッチング操作を追加することにより、画像分類を超えた半教師付き学習問題にFixMatchの適用を可能にする。 Dense FixMatchは、ラベル付きデータのみを使用して教師付き学習と比較すると、結果を著しく改善し、ラベル付きサンプルの1/4でそのパフォーマンスに近づいた。
  論文  参考訳（メタデータ） (2022-10-18T15:02:51Z)
• SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification [24.386165255835063]
  一般的な分類タスクの状況は、トレーニングに利用可能な大量のデータを持っているが、クラスラベルを持つのはごく一部である。 この文脈で、半監督トレーニングの目標は、大量のラベルのないデータからの情報を利用して分類精度を向上させることです。 本研究では,相互に類似した高信頼度ラベル付きデータ間の研究の少ない関係に焦点をあてた,教師なしの新たな目的を提案する。 提案したSimPLEアルゴリズムは,CIFAR-100およびMini-ImageNetにおける従来のアルゴリズムと比較して有意な性能向上を示した。
  論文  参考訳（メタデータ） (2021-03-30T23:48:06Z)
• CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
  CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。 複数のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-11-23T02:54:57Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。