論文の概要: IDoFew: Intermediate Training Using Dual-Clustering in Language Models for Few Labels Text Classification

• arxiv url: http://arxiv.org/abs/2401.04025v1
• Date: Mon, 8 Jan 2024 17:07:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 14:47:46.658540
• Title: IDoFew: Intermediate Training Using Dual-Clustering in Language Models for Few Labels Text Classification
• Title（参考訳）: IDoFew: テキスト分類のための言語モデルにおけるデュアルクラスタリングを用いた中間訓練
• Authors: Abdullah Alsuhaibani, Hamad Zogan, Imran Razzak, Shoaib Jameel, Guandong Xu
• Abstract要約: 変換器からの双方向表現(BERT)は、自然言語処理(NLP)やテキスト分類を含むテキストマイニングタスクにおいて非常に効果的である。 いくつかのタスクは、制限付きラベル付きテキスト分類など、これらのモデルに依然として課題を生じさせる。 擬似ラベルを確実にモデル化する2段階の中間クラスタリングを開発した。
• 参考スコア（独自算出の注目度）: 24.11420537250414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models such as Bidirectional Encoder Representations from Transformers (BERT) have been very effective in various Natural Language Processing (NLP) and text mining tasks including text classification. However, some tasks still pose challenges for these models, including text classification with limited labels. This can result in a cold-start problem. Although some approaches have attempted to address this problem through single-stage clustering as an intermediate training step coupled with a pre-trained language model, which generates pseudo-labels to improve classification, these methods are often error-prone due to the limitations of the clustering algorithms. To overcome this, we have developed a novel two-stage intermediate clustering with subsequent fine-tuning that models the pseudo-labels reliably, resulting in reduced prediction errors. The key novelty in our model, IDoFew, is that the two-stage clustering coupled with two different clustering algorithms helps exploit the advantages of the complementary algorithms that reduce the errors in generating reliable pseudo-labels for fine-tuning. Our approach has shown significant improvements compared to strong comparative models.
• Abstract（参考訳）: Bidirectional Encoder Representations from Transformers (BERT) のような言語モデルは、様々な自然言語処理(NLP)やテキスト分類を含むテキストマイニングタスクに非常に効果的である。 しかし、いくつかのタスクは、制限されたラベルによるテキスト分類など、これらのモデルに課題をもたらす。 これはコールドスタート問題を引き起こす可能性がある。 いくつかの手法は、事前訓練された言語モデルと組み合わされた中間訓練段階としてシングルステージクラスタリングを通じてこの問題に対処しようとするが、クラスタリングアルゴリズムの限界により、しばしばエラーが発生しやすい。 そこで我々は, 擬似ラベルを確実にモデル化し, 予測誤差を低減した新たな2段階中間クラスタリングを開発した。 このモデルの重要な特徴であるidofewは、2段階のクラスタリングと2つの異なるクラスタリングアルゴリズムを組み合わせることで、信頼できる擬似ラベルを生成する際のエラーを減らす補完アルゴリズムの利点を活用できるということです。 我々のアプローチは、強い比較モデルと比較して大幅に改善されている。

関連論文リスト

• CVOCSemRPL: Class-Variance Optimized Clustering, Semantic Information Injection and Restricted Pseudo Labeling based Improved Semi-Supervised Few-Shot Learning [4.3149314441871205]
  ラベルのないサンプルは一般に入手するのに安価であり、モデルの数発の学習性能を改善するために使用することができる。 本稿では,クラス分散最適化クラスタリングを行う半教師付き少ショット学習のアプローチを提案する。 我々は,提案手法がベンチマークデータセットの最近の最先端手法を著しく上回っていることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-01-24T11:14:35Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• Progressive Sub-Graph Clustering Algorithm for Semi-Supervised Domain Adaptation Speaker Verification [17.284276598514502]
  マルチモデル投票と二重ガウスに基づく評価に基づく新しいプログレッシブサブグラフクラスタリングアルゴリズムを提案する。 破滅的なクラスタリング結果を防止するため、段階的にkを増大させ、二重ガウスに基づく評価アルゴリズムを用いる反復的手法を採用する。
  論文  参考訳（メタデータ） (2023-05-22T04:26:18Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Prototypical Calibration for Few-shot Learning of Language Models [84.5759596754605]
  GPTライクなモデルは、さまざまな手作りテンプレートやデモ順列にまたがる脆弱であると認識されている。 ゼロショットと少数ショットの分類において、より堅牢な決定境界を適応的に学習するためのプロトタイプキャリブレーションを提案する。 提案手法は決定境界を期待通りに校正し,テンプレート,置換,クラス不均衡に対するGPTの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-05-20T13:50:07Z)
• Adaptive label thresholding methods for online multi-label classification [4.028101568570768]
  既存のオンラインマルチラベル分類作業は、オンラインラベルのしきい値設定問題に対処できない。 本稿では,オンラインマルチラベル分類のための適応ラベル閾値アルゴリズムの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-04T10:34:09Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。