論文の概要: Cluster & Tune: Boost Cold Start Performance in Text Classification
- arxiv url: http://arxiv.org/abs/2203.10581v1
- Date: Sun, 20 Mar 2022 15:29:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 15:10:04.443022
- Title: Cluster & Tune: Boost Cold Start Performance in Text Classification
- Title(参考訳): Cluster & Tune: テキスト分類におけるコールドスタートのパフォーマンス向上
- Authors: Eyal Shnarch, Ariel Gera, Alon Halfon, Lena Dankin, Leshem Choshen,
Ranit Aharonov, Noam Slonim
- Abstract要約: 実世界のシナリオでは、ラベル付きデータが不足している場合、テキスト分類タスクはコールドスタートから始まることが多い。
中間的教師なし分類タスクを追加することにより,そのようなモデルの性能を向上させる手法を提案する。
- 参考スコア(独自算出の注目度): 21.957605438780224
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In real-world scenarios, a text classification task often begins with a cold
start, when labeled data is scarce. In such cases, the common practice of
fine-tuning pre-trained models, such as BERT, for a target classification task,
is prone to produce poor performance. We suggest a method to boost the
performance of such models by adding an intermediate unsupervised
classification task, between the pre-training and fine-tuning phases. As such
an intermediate task, we perform clustering and train the pre-trained model on
predicting the cluster labels. We test this hypothesis on various data sets,
and show that this additional classification phase can significantly improve
performance, mainly for topical classification tasks, when the number of
labeled instances available for fine-tuning is only a couple of dozen to a few
hundred.
- Abstract(参考訳): 現実世界のシナリオでは、ラベル付きデータが不足する場合、テキスト分類タスクはコールドスタートで始まることが多い。
このような場合、目標分類タスクに対するBERTのような微調整事前学習モデルの一般的な実践は、性能が劣る傾向にある。
本稿では,事前学習段階と微調整段階の間に,中間教師なし分類タスクを追加することにより,モデルの性能を向上させる手法を提案する。
このような中間タスクとして,クラスタラベルの予測に事前学習したモデルをクラスタリングし,トレーニングする。
この仮説を様々なデータセットで検証し、この追加の分類フェーズが、主にトピック分類タスクにおいて、数十から数百というラベル付きインスタンス数がわずか数である場合に、パフォーマンスを大幅に改善できることを示した。
関連論文リスト
- Bridging the Gap: Learning Pace Synchronization for Open-World
Semi-Supervised Learning [49.07038093130949]
オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。
モデルは、正確な監督情報によって、前者をより早く学習する。
本稿では,1) クラス分布の推定に基づく適応的マージンの損失,2) 学習ペースの同期化,2) 出力空間の同じクラスからサンプルを抽出する擬似ラベルコントラストクラスタリングについて紹介する。
論文 参考訳(メタデータ) (2023-09-21T09:44:39Z) - ProTeCt: Prompt Tuning for Hierarchical Consistency [70.94769641675377]
CLIPのような大規模なビジュアル言語モデルは、一般化された表現を学び、有望なゼロショットのパフォーマンスを示している。
彼らは、葉のレベルでの推測が正しい場合でも、粗い分類学的階級レベルで誤ったラベルを推測する。
本稿では,モデル予測の階層的一貫性を校正するための即時チューニング手法を提案する。
論文 参考訳(メタデータ) (2023-06-04T02:55:25Z) - Zero-Shot Text Classification with Self-Training [8.68603153534916]
ゼロショット分類器を最も確実な予測で微調整することで、幅広いテキスト分類タスクにおいて大幅な性能向上が期待できることを示す。
自己学習は、手元にあるタスクにゼロショットモデルを適用する。
論文 参考訳(メタデータ) (2022-10-31T17:55:00Z) - Self-supervised Pretraining with Classification Labels for Temporal
Activity Detection [54.366236719520565]
時間的アクティビティ検出は、1フレーム当たりのアクティビティクラスを予測することを目的としている。
検出に必要なフレームレベルのアノテーションが高価なため、検出データセットの規模は限られている。
本研究では,分類ラベルを利用した自己教師付き事前学習手法を提案する。
論文 参考訳(メタデータ) (2021-11-26T18:59:28Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - Coarse2Fine: Fine-grained Text Classification on Coarsely-grained
Annotated Data [22.81068960545234]
本稿では,粗い注釈付きデータに対して,きめ細かい分類を行うことを目的とした,粗い粒度分類と呼ばれる新しい問題を提案する。
新しいきめ細かい人間のアノテーションを求める代わりに、ラベル表面の名前のみを人間の手引きとして活用することにしました。
我々のフレームワークは、微調整された生成モデルを用いて、擬似学習データをサンプリングし、分類器を訓練し、実際のラベルなしデータをブートストラップしてモデル修正を行う。
論文 参考訳(メタデータ) (2021-09-22T17:29:01Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z) - Task-Adaptive Clustering for Semi-Supervised Few-Shot Classification [23.913195015484696]
未確認のタスクを、少量の新しいトレーニングデータだけで処理することを目的としている。
しかし、数ショットの学習者が準備(メタトレーニング)する際には、大量のラベル付きデータが必要である。
そこで本研究では,トレーニングデータの大部分がラベル付けされていない半教師付き環境下で動作可能な,数発の学習者を提案する。
論文 参考訳(メタデータ) (2020-03-18T13:50:19Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。