論文の概要: PromptClass: Weakly-Supervised Text Classification with Prompting
Enhanced Noise-Robust Self-Training
- arxiv url: http://arxiv.org/abs/2305.13723v1
- Date: Tue, 23 May 2023 06:19:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 18:34:40.410772
- Title: PromptClass: Weakly-Supervised Text Classification with Prompting
Enhanced Noise-Robust Self-Training
- Title（参考訳）: PromptClass: ノイズローバスト自己学習の促進によるテキスト分類
- Authors: Yunyi Zhang, Minhao Jiang, Yu Meng, Yu Zhang, Jiawei Han
- Abstract要約: 本稿では,(1)ゼロショットプロンプトを用いた擬似ラベル取得モジュールによる文脈的テキスト理解に基づく擬似ラベル取得,(2)識別器を反復的に訓練し,擬似ラベルを更新する難聴自己学習モジュールの2つのモジュールからなるPromptClassを提案する。
大規模な実験によると、PromptClassは4つのベンチマークデータセットで既存の強力なベースラインよりも全体的なパフォーマンスが向上している。
- 参考スコア（独自算出の注目度）: 30.982595994891263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently proposed weakly-supervised text classification settings train a
classifier using the label name of each target class as the only supervision.
Such weakly-supervised settings have been gaining increasing attention since
they can largely reduce human annotation efforts compared to fully-supervised
and semi-supervised settings. Most existing methods follow the strategy that
first uses the label names as static features to generate pseudo labels, which
are then used for classifier training. While reasonable, such a commonly
adopted framework suffers from two limitations: (1) words can have different
meanings in different contexts, so using label names for context-free matching
can induce very noisy pseudo labels; and (2) the errors made in the pseudo
label generation stage will directly propagate to the classifier training stage
without a chance of being corrected. In this paper, we propose a new method,
PromptClass, consisting of two modules: (1) a pseudo label acquisition module
that uses zero-shot prompting of pre-trained language models (PLM) to get
pseudo labels based on contextualized text understanding, and (2) a
noise-robust self-training module that iteratively trains the classifier and
updates pseudo labels by utilizing two PLM fine-tuning strategies that
regularize each other. Extensive experiments show that PromptClass achieves
overall better performance than existing strong baselines on four benchmark
datasets and even achieves similar performance to fully-supervised classifiers
on sentiment classification tasks.
- Abstract（参考訳）: 最近提案された弱い教師付きテキスト分類設定は、各ターゲットクラスのラベル名のみを使用して分類器を訓練する。
このような弱い教師付き設定は、完全教師付き設定や半教師付き設定に比べて人的アノテーションの労力を大幅に削減できるため、注目を集めている。
既存のメソッドの多くは、まずラベル名を静的な特徴として使用して擬似ラベルを生成し、その後分類訓練に使用する戦略に従っている。
妥当ではあるが,(1) 単語は異なる文脈で異なる意味を持つことができるため,文脈自由マッチングにラベル名を用いると,非常にノイズの多い擬似ラベルを誘導し,(2) 擬似ラベル生成段階における誤りは,訂正されることなく直接分類者訓練段階に伝播する。
本稿では,(1)事前学習済み言語モデル(plm)のゼロショットプロンプトを用いて文脈的テキスト理解に基づく擬似ラベルを取得する擬似ラベル取得モジュールと,(2)分類器を反復的に訓練し,相互に正規化する2つのplm微調整戦略を用いて擬似ラベルを更新するノイズロバスト自己学習モジュールという,2つのモジュールからなる新しい手法を提案する。
広範な実験により、4つのベンチマークデータセットで既存の強力なベースラインよりも全体的なパフォーマンスが向上し、感情分類タスクで完全な教師付き分類器と同等のパフォーマンスが達成されることが示された。
関連論文リスト
- Determined Multi-Label Learning via Similarity-Based Prompt [12.428779617221366]
マルチラベル分類では、各トレーニングインスタンスは複数のクラスラベルに同時に関連付けられている。
この問題を軽減するために,textitDetermined Multi-Label Learning (DMLL) と呼ばれる新しいラベル設定を提案する。
論文 参考訳（メタデータ） (2024-03-25T07:08:01Z) - RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules [30.239044569301534]
弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。
本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。
提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
論文 参考訳（メタデータ） (2024-03-05T12:50:36Z) - Semantic Connectivity-Driven Pseudo-labeling for Cross-domain
Segmentation [89.41179071022121]
自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。
本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。
このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
論文 参考訳（メタデータ） (2023-12-11T12:29:51Z) - Substituting Data Annotation with Balanced Updates and Collective Loss
in Multi-label Text Classification [19.592985329023733]
MLTC(Multi-label text classification)は、あるテキストに複数のラベルを割り当てるタスクである。
本報告では,MLTCの問題点を,ラベル数に比例して,利用可能な監視信号の大きさが線形であるアノテーションフリーおよび希少アノテーション設定で検討する。
提案手法は,(1)事前学習した言語モデルを用いて,入力テキストを事前ラベル候補の集合にマッピングし,(2)ラベル記述による署名付きラベル依存グラフの計算,(3)ラベル依存グラフに沿ったメッセージパスによる事前ラベル候補の更新を行う。
論文 参考訳（メタデータ） (2023-09-24T04:12:52Z) - Description-Enhanced Label Embedding Contrastive Learning for Text
Classification [65.01077813330559]
モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計
テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。
ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
論文 参考訳（メタデータ） (2023-06-15T02:19:34Z) - Improving Self-training for Cross-lingual Named Entity Recognition with
Contrastive and Prototype Learning [80.08139343603956]
言語横断的な実体認識において、自己学習は言語的ギャップを埋めるために一般的に用いられる。
本研究では,表現学習と擬似ラベル改善を組み合わせることで,言語間NERの自己学習を改善することを目的とする。
提案手法,すなわちContProtoは主に,(1)コントラスト型自己学習と(2)プロトタイプベース擬似ラベルの2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-05-23T02:52:16Z) - FastClass: A Time-Efficient Approach to Weakly-Supervised Text
Classification [14.918600168973564]
本稿では,効率的な弱教師付き分類手法であるFastClassを提案する。
センシティブテキスト表現を使用して、外部ラベルなしコーパスからクラス関連文書を検索する。
実験により,提案手法は,分類精度の観点からキーワード駆動モデルよりも優れており,訓練速度のオーダー・オブ・マグニチュードが高速であることが確認された。
論文 参考訳（メタデータ） (2022-12-11T13:43:22Z) - LIME: Weakly-Supervised Text Classification Without Seeds [1.2691047660244335]
弱教師付きテキスト分類では、ラベル名のみが監督の源として機能する。
弱教師付きテキスト分類のためのフレームワーク LIME を提案する。
弱教師付き分類とテキスト・エンターメントを組み合わせることで、両者の欠点を軽減できることが判明した。
論文 参考訳（メタデータ） (2022-10-13T04:28:28Z) - Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。
擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。
アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
論文 参考訳（メタデータ） (2022-06-13T14:04:57Z) - Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。
LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
論文 参考訳（メタデータ） (2022-04-14T17:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。