論文の概要: Tackling Concept Shift in Text Classification using Entailment-style
Modeling
- arxiv url: http://arxiv.org/abs/2311.03320v1
- Date: Mon, 6 Nov 2023 18:15:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 13:24:28.485971
- Title: Tackling Concept Shift in Text Classification using Entailment-style
Modeling
- Title(参考訳): エンテーメントスタイルモデリングを用いたテキスト分類におけるタックリング概念シフト
- Authors: Sumegh Roychowdhury, Karan Gupta, Siva Rajesh Kasa, Prasanna Srinivasa
Murthy, Alok Chandra
- Abstract要約: 本稿では,バニラ分類をentailment-style問題に変換する改定法を提案する。
提案手法が実世界と合成データセットの両方に与える影響を実証する。
- 参考スコア(独自算出の注目度): 2.2588825300186426
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pre-trained language models (PLMs) have seen tremendous success in text
classification (TC) problems in the context of Natural Language Processing
(NLP). In many real-world text classification tasks, the class definitions
being learned do not remain constant but rather change with time - this is
known as Concept Shift. Most techniques for handling concept shift rely on
retraining the old classifiers with the newly labelled data. However, given the
amount of training data required to fine-tune large DL models for the new
concepts, the associated labelling costs can be prohibitively expensive and
time consuming. In this work, we propose a reformulation, converting vanilla
classification into an entailment-style problem that requires significantly
less data to re-train the text classifier to adapt to new concepts. We
demonstrate the effectiveness of our proposed method on both real world &
synthetic datasets achieving absolute F1 gains upto 7% and 40% respectively in
few-shot settings. Further, upon deployment, our solution also helped save 75%
of labeling costs overall.
- Abstract(参考訳): 事前学習言語モデル(PLM)は、自然言語処理(NLP)の文脈において、テキスト分類(TC)問題において大きな成功を収めている。
多くの現実世界のテキスト分類タスクでは、学習されるクラス定義は一定ではなく、時間とともに変化する。
概念シフトを扱うほとんどのテクニックは、新しいラベル付きデータで古い分類器を再訓練することに依存している。
しかし、新しい概念の大型DLモデルを微調整するために必要なトレーニングデータの量を考えると、関連するラベリングコストは違法に高価であり、時間を要する可能性がある。
そこで本研究では,バニラ分類を包括的問題に変換することで,新たな概念に適応するためにテキスト分類器を再学習するデータを大幅に削減する手法を提案する。
提案手法の有効性を実世界と合成データセットの両方で実証し,F1絶対値が7%,F1絶対値が40%に向上した。
さらに、デプロイ時に当社のソリューションは、ラベリングコスト全体の75%の削減にも役立ちました。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Few-Shot Learning with Siamese Networks and Label Tuning [5.006086647446482]
適切な事前トレーニングを行うことで、テキストやラベルを埋め込むSiamese Networksが、競争力のある代替手段となることを示す。
ラベルの埋め込みだけを変えることで、数ショットのセットアップでモデルを適応できる、シンプルで計算効率の良い手法であるラベルチューニングを導入する。
論文 参考訳(メタデータ) (2022-03-28T11:16:46Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot
Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。
本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。
提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文 参考訳(メタデータ) (2021-02-08T03:27:05Z) - Fine-grained Angular Contrastive Learning with Coarse Labels [72.80126601230447]
教師付きおよび自己監督型コントラスト前訓練を効果的に組み合わせることができる新しい「Angularの正規化」モジュールを紹介します。
この研究は、C2FS分類のこの新しい、挑戦的で、非常に実用的なトピックに関する将来の研究の道を開くのに役立ちます。
論文 参考訳(メタデータ) (2020-12-07T08:09:02Z) - Cold-start Active Learning through Self-supervised Language Modeling [15.551710499866239]
アクティブラーニングは、ラベルに最も重要な例を選択することで、アノテーションのコストを削減することを目的としている。
BERTでは、マスク付き言語モデリング損失に基づく単純な戦略を開発する。
他のベースラインと比較して,本手法はより少ないサンプリングイテレーションと時間で精度が高い。
論文 参考訳(メタデータ) (2020-10-19T14:09:17Z) - Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text
Classification [52.69730591919885]
本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。
多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
論文 参考訳(メタデータ) (2020-07-29T19:38:35Z) - Class-Incremental Learning for Semantic Segmentation Re-Using Neither
Old Data Nor Old Labels [35.586031601299034]
本稿では,モデルが当初トレーニングしたラベル付きデータを用いることなく,セマンティックセグメンテーションのためのクラスインクリメンタル学習を実装する手法を提案する。
本稿では,新しいクラスにのみラベルを必要とする新しいクラス増分学習手法を用いて,これらの問題を克服する方法を示す。
本手法をCityscapesデータセット上で評価し,全ベースラインのmIoU性能を3.5%絶対的に上回る結果を得た。
論文 参考訳(メタデータ) (2020-05-12T21:03:29Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳(メタデータ) (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。