論文の概要: PIEClass: Weakly-Supervised Text Classification with Prompting and
Noise-Robust Iterative Ensemble Training
- arxiv url: http://arxiv.org/abs/2305.13723v2
- Date: Fri, 20 Oct 2023 15:14:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 07:40:13.855397
- Title: PIEClass: Weakly-Supervised Text Classification with Prompting and
Noise-Robust Iterative Ensemble Training
- Title（参考訳）: PIEClass: プロンプトとノイズロバスト反復アンサンブルトレーニングによる弱教師付きテキスト分類
- Authors: Yunyi Zhang, Minhao Jiang, Yu Meng, Yu Zhang, Jiawei Han
- Abstract要約: 弱教師付きテキスト分類は、ターゲットクラスのラベル名を使用した分類器を唯一の監督として訓練する。
2つのモジュールからなるPIEClassを提案する。
PIEClassは、既存の7つのベンチマークデータセットの強いベースラインよりも全体的なパフォーマンスが向上している。
- 参考スコア（独自算出の注目度）: 42.013879670590214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weakly-supervised text classification trains a classifier using the label
name of each target class as the only supervision, which largely reduces human
annotation efforts. Most existing methods first use the label names as static
keyword-based features to generate pseudo labels, which are then used for final
classifier training. While reasonable, such a commonly adopted framework
suffers from two limitations: (1) keywords can have different meanings in
different contexts and some text may not have any keyword, so keyword matching
can induce noisy and inadequate pseudo labels; (2) the errors made in the
pseudo label generation stage will directly propagate to the classifier
training stage without a chance of being corrected. In this paper, we propose a
new method, PIEClass, consisting of two modules: (1) a pseudo label acquisition
module that uses zero-shot prompting of pre-trained language models (PLM) to
get pseudo labels based on contextualized text understanding beyond static
keyword matching, and (2) a noise-robust iterative ensemble training module
that iteratively trains classifiers and updates pseudo labels by utilizing two
PLM fine-tuning methods that regularize each other. Extensive experiments show
that PIEClass achieves overall better performance than existing strong
baselines on seven benchmark datasets and even achieves similar performance to
fully-supervised classifiers on sentiment classification tasks.
- Abstract（参考訳）: 弱教師付きテキスト分類は、ターゲットクラスのラベル名を用いた分類器を唯一の監督として訓練する。
既存のほとんどのメソッドは、ラベル名を静的キーワードベースの機能として使用し、擬似ラベルを生成する。
1) キーワードは異なる文脈で異なる意味を持ち、一部のテキストはキーワードを持たない可能性があるため、キーワードマッチングはノイズや不適切な擬似ラベルを誘発する可能性がある。(2) 擬似ラベル生成段階におけるエラーは、修正される可能性なしに、直接分類子トレーニングステージに伝播する。
本稿では,(1)事前学習言語モデル(PLM)のゼロショットプロンプトを用いた擬似ラベル取得モジュールを用いて,静的キーワードマッチング以上の文脈的テキスト理解に基づく擬似ラベルを取得すること,および(2)互いに規則づけを行う2つのPLM微細チューニング手法を用いて,反復的に分類器を訓練し,擬似ラベルを更新するノイズローバスト反復型アンサンブル学習モジュールを提案する。
大規模な実験により、PIEClassは既存の7つのベンチマークデータセットの強いベースラインよりも全体的なパフォーマンスが向上し、また、感情分類タスクの完全な教師付き分類器と同様のパフォーマンスが達成された。
関連論文リスト
- Determined Multi-Label Learning via Similarity-Based Prompt [12.428779617221366]
マルチラベル分類では、各トレーニングインスタンスは複数のクラスラベルに同時に関連付けられている。
この問題を軽減するために,textitDetermined Multi-Label Learning (DMLL) と呼ばれる新しいラベル設定を提案する。
論文 参考訳（メタデータ） (2024-03-25T07:08:01Z) - RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules [30.239044569301534]
弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。
本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。
提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
論文 参考訳（メタデータ） (2024-03-05T12:50:36Z) - Semantic Connectivity-Driven Pseudo-labeling for Cross-domain
Segmentation [89.41179071022121]
自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。
本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。
このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
論文 参考訳（メタデータ） (2023-12-11T12:29:51Z) - Substituting Data Annotation with Balanced Updates and Collective Loss
in Multi-label Text Classification [19.592985329023733]
MLTC(Multi-label text classification)は、あるテキストに複数のラベルを割り当てるタスクである。
本報告では,MLTCの問題点を,ラベル数に比例して,利用可能な監視信号の大きさが線形であるアノテーションフリーおよび希少アノテーション設定で検討する。
提案手法は,(1)事前学習した言語モデルを用いて,入力テキストを事前ラベル候補の集合にマッピングし,(2)ラベル記述による署名付きラベル依存グラフの計算,(3)ラベル依存グラフに沿ったメッセージパスによる事前ラベル候補の更新を行う。
論文 参考訳（メタデータ） (2023-09-24T04:12:52Z) - Description-Enhanced Label Embedding Contrastive Learning for Text
Classification [65.01077813330559]
モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計
テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。
ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
論文 参考訳（メタデータ） (2023-06-15T02:19:34Z) - Improving Self-training for Cross-lingual Named Entity Recognition with
Contrastive and Prototype Learning [80.08139343603956]
言語横断的な実体認識において、自己学習は言語的ギャップを埋めるために一般的に用いられる。
本研究では,表現学習と擬似ラベル改善を組み合わせることで,言語間NERの自己学習を改善することを目的とする。
提案手法,すなわちContProtoは主に,(1)コントラスト型自己学習と(2)プロトタイプベース擬似ラベルの2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-05-23T02:52:16Z) - FastClass: A Time-Efficient Approach to Weakly-Supervised Text
Classification [14.918600168973564]
本稿では,効率的な弱教師付き分類手法であるFastClassを提案する。
センシティブテキスト表現を使用して、外部ラベルなしコーパスからクラス関連文書を検索する。
実験により,提案手法は,分類精度の観点からキーワード駆動モデルよりも優れており,訓練速度のオーダー・オブ・マグニチュードが高速であることが確認された。
論文 参考訳（メタデータ） (2022-12-11T13:43:22Z) - LIME: Weakly-Supervised Text Classification Without Seeds [1.2691047660244335]
弱教師付きテキスト分類では、ラベル名のみが監督の源として機能する。
弱教師付きテキスト分類のためのフレームワーク LIME を提案する。
弱教師付き分類とテキスト・エンターメントを組み合わせることで、両者の欠点を軽減できることが判明した。
論文 参考訳（メタデータ） (2022-10-13T04:28:28Z) - Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。
擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。
アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
論文 参考訳（メタデータ） (2022-06-13T14:04:57Z) - Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。
LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
論文 参考訳（メタデータ） (2022-04-14T17:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。