論文の概要: MultiMatch: Multihead Consistency Regularization Matching for Semi-Supervised Text Classification

• arxiv url: http://arxiv.org/abs/2506.07801v1
• Date: Mon, 09 Jun 2025 14:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.992797
• Title: MultiMatch: Multihead Consistency Regularization Matching for Semi-Supervised Text Classification
• Title（参考訳）: MultiMatch: 半教師付きテキスト分類のためのマルチヘッド一貫性規則化マッチング
• Authors: Iustin Sirbu, Robert-Adrian Popovici, Cornelia Caragea, Stefan Trausan-Matu, Traian Rebedea,
• Abstract要約: 我々は、協調学習と整合性正規化のパラダイムを擬似ラベルで組み合わせた、新しい半教師付き学習(SSL)アルゴリズムであるMultiMatchを紹介する。 コアとなるMultiMatchは、3つの重要な目的のために設計された3倍の擬似ラベル重み付けモジュールを備えている。 このモジュールは、Multihead Co-trainingのヘッドアグリーメント、FreeMatchの自己適応しきい値、MarginMatchのAverage Pseudo-Marginsの3つの既存のテクニックを強化し、統合する。
• 参考スコア（独自算出の注目度）: 42.62120305327092
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce MultiMatch, a novel semi-supervised learning (SSL) algorithm combining the paradigms of co-training and consistency regularization with pseudo-labeling. At its core, MultiMatch features a three-fold pseudo-label weighting module designed for three key purposes: selecting and filtering pseudo-labels based on head agreement and model confidence, and weighting them according to the perceived classification difficulty. This novel module enhances and unifies three existing techniques -- heads agreement from Multihead Co-training, self-adaptive thresholds from FreeMatch, and Average Pseudo-Margins from MarginMatch -- resulting in a holistic approach that improves robustness and performance in SSL settings. Experimental results on benchmark datasets highlight the superior performance of MultiMatch, achieving state-of-the-art results on 9 out of 10 setups from 5 natural language processing datasets and ranking first according to the Friedman test among 19 methods. Furthermore, MultiMatch demonstrates exceptional robustness in highly imbalanced settings, outperforming the second-best approach by 3.26% -- and data imbalance is a key factor for many text classification tasks.
• Abstract（参考訳）: 我々は、協調学習と整合性正規化のパラダイムを擬似ラベルで組み合わせた、新しい半教師付き学習(SSL)アルゴリズムであるMultiMatchを紹介する。 その中核となるMultiMatchは、3つの重要な目的のために設計された3倍の擬似ラベル重み付けモジュールを備えている。 このモジュールは、Multihead Co-trainingのヘッドアグリーメント、FreeMatchのセルフアダプティブしきい値、MarginMatchのAverage Pseudo-Marginsの3つの既存のテクニックを強化し、統一する。 ベンチマークデータセットの実験結果は、MultiMatchの優れたパフォーマンスを強調し、5つの自然言語処理データセットから10のセットアップ中9の最先端結果を達成し、19のメソッドでFriedmanテストに従ってランク付けする。 さらに、MultiMatchは高度に不均衡な設定において例外的なロバスト性を示し、第2のベストアプローチを3.26%上回り、多くのテキスト分類タスクにおいてデータ不均衡が重要な要素である。

関連論文リスト

• Double-Stage Feature-Level Clustering-Based Mixture of Experts Framework [0.0]
  本稿では,DFCP-MoE(Mixture of Experts)フレームワークについて述べる。 入力特徴抽出、特徴レベルのクラスタリング、計算効率の良い擬似ラベル戦略で構成されている。 そこで本研究では,MoEモデルを用いたクラスタリング入力の訓練により,専門家の専門性を向上する条件付きエンドツーエンド共同訓練手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T16:13:50Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• SemiReward: A General Reward Model for Semi-supervised Learning [58.47299780978101]
  半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。 主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。 本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:56:41Z)
• MarginMatch: Improving Semi-Supervised Learning with Pseudo-Margins [73.17295479535161]
  MarginMatchは、一貫性の正規化と擬似ラベルを組み合わせた新しいSSLアプローチである。 トレーニングが進むにつれて、擬似ラベル付きモデル上でのモデルの振る舞いを分析し、低品質な予測が隠蔽されることを確かめる。 CIFAR-100では,クラス毎に25ラベル,STL-10では3.78%,クラス毎に4ラベルで3.25%の誤差率向上を実現した。
  論文  参考訳（メタデータ） (2023-08-17T15:19:04Z)
• Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
  半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
  論文  参考訳（メタデータ） (2023-03-20T12:44:11Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。