論文の概要: Cluster & Tune: Boost Cold Start Performance in Text Classification

• arxiv url: http://arxiv.org/abs/2203.10581v1
• Date: Sun, 20 Mar 2022 15:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 15:10:04.443022
• Title: Cluster & Tune: Boost Cold Start Performance in Text Classification
• Title（参考訳）: Cluster & Tune: テキスト分類におけるコールドスタートのパフォーマンス向上
• Authors: Eyal Shnarch, Ariel Gera, Alon Halfon, Lena Dankin, Leshem Choshen, Ranit Aharonov, Noam Slonim
• Abstract要約: 実世界のシナリオでは、ラベル付きデータが不足している場合、テキスト分類タスクはコールドスタートから始まることが多い。 中間的教師なし分類タスクを追加することにより,そのようなモデルの性能を向上させる手法を提案する。
• 参考スコア（独自算出の注目度）: 21.957605438780224
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In real-world scenarios, a text classification task often begins with a cold start, when labeled data is scarce. In such cases, the common practice of fine-tuning pre-trained models, such as BERT, for a target classification task, is prone to produce poor performance. We suggest a method to boost the performance of such models by adding an intermediate unsupervised classification task, between the pre-training and fine-tuning phases. As such an intermediate task, we perform clustering and train the pre-trained model on predicting the cluster labels. We test this hypothesis on various data sets, and show that this additional classification phase can significantly improve performance, mainly for topical classification tasks, when the number of labeled instances available for fine-tuning is only a couple of dozen to a few hundred.
• Abstract（参考訳）: 現実世界のシナリオでは、ラベル付きデータが不足する場合、テキスト分類タスクはコールドスタートで始まることが多い。 このような場合、目標分類タスクに対するBERTのような微調整事前学習モデルの一般的な実践は、性能が劣る傾向にある。 本稿では,事前学習段階と微調整段階の間に,中間教師なし分類タスクを追加することにより,モデルの性能を向上させる手法を提案する。 このような中間タスクとして,クラスタラベルの予測に事前学習したモデルをクラスタリングし,トレーニングする。 この仮説を様々なデータセットで検証し、この追加の分類フェーズが、主にトピック分類タスクにおいて、数十から数百というラベル付きインスタンス数がわずか数である場合に、パフォーマンスを大幅に改善できることを示した。

関連論文リスト

• Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning [44.91863420044712]
  オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。 本稿では,(1)モデル偏差を軽減するためにクラス固有の負のマージンを課するアダプティブ・コミュニケート・ラミナル・ロス,(2)モデルによって予測される擬似ラベルを利用した擬似ラベル・コントラッシブ・クラスタリングについて紹介する。 本手法は,授業の学習速度のバランスを保ち,画像Netデータセットの平均精度を3%向上させる。
  論文  参考訳（メタデータ） (2023-09-21T09:44:39Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Self-supervised Pretraining with Classification Labels for Temporal Activity Detection [54.366236719520565]
  時間的アクティビティ検出は、1フレーム当たりのアクティビティクラスを予測することを目的としている。 検出に必要なフレームレベルのアノテーションが高価なため、検出データセットの規模は限られている。 本研究では,分類ラベルを利用した自己教師付き事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:28Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Coarse2Fine: Fine-grained Text Classification on Coarsely-grained Annotated Data [22.81068960545234]
  本稿では,粗い注釈付きデータに対して,きめ細かい分類を行うことを目的とした,粗い粒度分類と呼ばれる新しい問題を提案する。 新しいきめ細かい人間のアノテーションを求める代わりに、ラベル表面の名前のみを人間の手引きとして活用することにしました。 我々のフレームワークは、微調整された生成モデルを用いて、擬似学習データをサンプリングし、分類器を訓練し、実際のラベルなしデータをブートストラップしてモデル修正を行う。
  論文  参考訳（メタデータ） (2021-09-22T17:29:01Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Task-Adaptive Clustering for Semi-Supervised Few-Shot Classification [23.913195015484696]
  未確認のタスクを、少量の新しいトレーニングデータだけで処理することを目的としている。 しかし、数ショットの学習者が準備(メタトレーニング)する際には、大量のラベル付きデータが必要である。 そこで本研究では,トレーニングデータの大部分がラベル付けされていない半教師付き環境下で動作可能な,数発の学習者を提案する。
  論文  参考訳（メタデータ） (2020-03-18T13:50:19Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。