論文の概要: RulePrompt: Weakly Supervised Text Classification with Prompting PLMs
and Self-Iterative Logical Rules
- arxiv url: http://arxiv.org/abs/2403.02932v1
- Date: Tue, 5 Mar 2024 12:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 15:02:23.931778
- Title: RulePrompt: Weakly Supervised Text Classification with Prompting PLMs
and Self-Iterative Logical Rules
- Title（参考訳）: RulePrompt: プロンプティングPLMと自己Iterative Logical Ruleを用いた弱修正テキスト分類
- Authors: Miaomiao Li, Jiaqi Zhu, Yang Wang, Yi Yang, Yilin Li, Hongan Wang
- Abstract要約: 弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。
本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。
提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
- 参考スコア（独自算出の注目度）: 32.04177004723828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weakly supervised text classification (WSTC), also called zero-shot or
dataless text classification, has attracted increasing attention due to its
applicability in classifying a mass of texts within the dynamic and open Web
environment, since it requires only a limited set of seed words (label names)
for each category instead of labeled data. With the help of recently popular
prompting Pre-trained Language Models (PLMs), many studies leveraged manually
crafted and/or automatically identified verbalizers to estimate the likelihood
of categories, but they failed to differentiate the effects of these
category-indicative words, let alone capture their correlations and realize
adaptive adjustments according to the unlabeled corpus. In this paper, in order
to let the PLM effectively understand each category, we at first propose a
novel form of rule-based knowledge using logical expressions to characterize
the meanings of categories. Then, we develop a prompting PLM-based approach
named RulePrompt for the WSTC task, consisting of a rule mining module and a
rule-enhanced pseudo label generation module, plus a self-supervised
fine-tuning module to make the PLM align with this task. Within this framework,
the inaccurate pseudo labels assigned to texts and the imprecise logical rules
associated with categories mutually enhance each other in an alternative
manner. That establishes a self-iterative closed loop of knowledge (rule)
acquisition and utilization, with seed words serving as the starting point.
Extensive experiments validate the effectiveness and robustness of our
approach, which markedly outperforms state-of-the-art weakly supervised
methods. What is more, our approach yields interpretable category rules,
proving its advantage in disambiguating easily-confused categories.
- Abstract（参考訳）: zero-shotやdataless text classificationとも呼ばれるweakly supervised text classification(wstc)は、ラベル付きデータではなく、カテゴリごとに限られたシードワード(ラベル名)しか必要とせず、ダイナミックでオープンなweb環境内でテキストの塊を分類できるため、注目を集めている。
最近普及しているPLM(Pre-trained Language Models)の助けを借りて、多くの研究は、手作業による工芸品と/または自動で発声器を識別してカテゴリの確率を推定したが、これらのカテゴリー指示語の効果を区別することはできなかった。
本稿では, PLMが各カテゴリを効果的に理解するために, まず, 論理式を用いたルールベース知識の新たな形態を提案し, カテゴリの意味を特徴付ける。
次に、ルールマイニングモジュールとルールエンハンスされた擬似ラベル生成モジュールと、plmをこのタスクと整合させるための自己教師付き微調整モジュールからなる、wstcタスクのためのルールプロンプトと呼ばれるplmベースのアプローチを開発した。
この枠組み内では、テキストに割り当てられた不正確な擬似ラベルと、カテゴリに関連する不正確な論理規則が相互に代替的な方法で強化される。
これは、知識(ルール)の自己決定的なクローズドループを確立して利用し、シードワードが出発点となる。
広範な実験により,本手法の有効性と頑健性が検証された。
さらに,このアプローチは解釈可能なカテゴリールールを導出し,難解なカテゴリを曖昧にすることの利点を証明している。
関連論文リスト
- SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics [2.3742710594744105]
SciPromptは,低リソーステキスト分類タスクに対して,科学的トピック関連用語を自動的に検索するフレームワークである。
本手法は, ほとんど, ゼロショット設定下での科学的テキスト分類作業において, 最先端, 即時的な微調整法より優れる。
論文 参考訳（メタデータ） (2024-10-02T18:45:04Z) - TELEClass: Taxonomy Enrichment and LLM-Enhanced Hierarchical Text Classification with Minimal Supervision [41.05874642535256]
階層的なテキスト分類は、ラベル分類における各文書を一連のクラスに分類することを目的としている。
初期の研究は、大量の人間の注釈付きデータを必要とする完全または半教師付き手法に重点を置いていた。
我々は、最小限の監督量で階層的なテキスト分類に取り組んでおり、各ノードのクラス名のみを唯一の監督として使用しています。
論文 参考訳（メタデータ） (2024-02-29T22:26:07Z) - Gen-Z: Generative Zero-Shot Text Classification with Contextualized
Label Descriptions [50.92702206798324]
ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。
GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。
データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2023-11-13T07:12:57Z) - Prompt Tuned Embedding Classification for Multi-Label Industry Sector Allocation [2.024620791810963]
本研究では,マルチラベルテキスト分類のためのPrompt Tuningとベースラインの性能をベンチマークする。
企業を投資会社の独自産業分類に分類するために適用される。
このモデルのパフォーマンスは、よく知られた企業とあまり知られていない企業の両方で一貫していることを確認します。
論文 参考訳（メタデータ） (2023-09-21T13:45:32Z) - Description-Enhanced Label Embedding Contrastive Learning for Text
Classification [65.01077813330559]
モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計
テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。
ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
論文 参考訳（メタデータ） (2023-06-15T02:19:34Z) - PIEClass: Weakly-Supervised Text Classification with Prompting and
Noise-Robust Iterative Ensemble Training [42.013879670590214]
弱教師付きテキスト分類は、ターゲットクラスのラベル名を使用した分類器を唯一の監督として訓練する。
2つのモジュールからなるPIEClassを提案する。
PIEClassは、既存の7つのベンチマークデータセットの強いベースラインよりも全体的なパフォーマンスが向上している。
論文 参考訳（メタデータ） (2023-05-23T06:19:14Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳（メタデータ） (2023-03-09T09:05:47Z) - Learning Label Modular Prompts for Text Classification in the Wild [56.66187728534808]
そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。
複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。
テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
論文 参考訳（メタデータ） (2022-11-30T16:26:38Z) - CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class
Classification [57.62886091828512]
多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。
基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
論文 参考訳（メタデータ） (2022-11-11T03:45:59Z) - PTR: Prompt Tuning with Rules for Text Classification [64.1655047016891]
微調整された事前学習言語モデル(PLM)は、ほぼすべてのNLPタスクで素晴らしいパフォーマンスを実現している。
我々は,多クラステキスト分類のためのルール(PTR)による即時チューニングを提案する。
PTRは、各クラスの事前知識を即時チューニングにエンコードすることができる。
論文 参考訳（メタデータ） (2021-05-24T13:24:02Z) - Description Based Text Classification with Reinforcement Learning [34.18824470728299]
本稿では,各カテゴリのラベルをカテゴリ記述に関連付ける,テキスト分類のための新しいフレームワークを提案する。
我々は、幅広いテキスト分類タスクにおいて、強いベースラインよりも顕著なパフォーマンス向上を観察する。
論文 参考訳（メタデータ） (2020-02-08T02:14:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。