論文の概要: Prompt-Learning for Short Text Classification

• arxiv url: http://arxiv.org/abs/2202.11345v1
• Date: Wed, 23 Feb 2022 08:07:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 14:30:00.496019
• Title: Prompt-Learning for Short Text Classification
• Title（参考訳）: 短文分類のためのPrompt-Learning
• Authors: Yi Zhu, Xinke Zhou, Jipeng Qiang, Yun Li, Yunhao Yuan, Xindong Wu
• Abstract要約: 短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。 本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
• 参考スコア（独自算出の注目度）: 30.53216712864025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the short text, the extreme short length, feature sparsity and high ambiguity pose huge challenge to classification tasks. Recently, as an effective method for tuning Pre-trained Language Models for specific downstream tasks, prompt-learning has attracted vast amount of attention and research. The main intuition behind the prompt-learning is to insert template into the input and convert the text classification tasks into equivalent cloze-style tasks. However, most prompt-learning methods expand label words manually or only consider the class name for knowledge incorporating in cloze-style prediction, which will inevitably incurred omissions and bias in classification tasks. In this paper, we propose a simple short text classification approach that makes use of prompt-learning based on knowledgeable expansion, which can consider both the short text itself and class name during expanding label words space. Specifically, the top $N$ concepts related to the entity in short text are retrieved from the open Knowledge Graph like Probase, and we further refine the expanded label words by the distance calculation between selected concepts and class label. Experimental results show that our approach obtains obvious improvement compared with other fine-tuning, prompt-learning and knowledgeable prompt-tuning methods, outperforming the state-of-the-art by up to 6 Accuracy points on three well-known datasets.
• Abstract（参考訳）: 短い文章では、極端に短い長さ、特徴の空間性、高い曖昧さが、分類タスクに大きな課題をもたらします。 近年,特定の下流タスクに事前学習言語モデルをチューニングするための効果的な手法として,迅速な学習が注目されている。 プロンプトラーニングの背後にある主な直感は、入力にテンプレートを挿入し、テキスト分類タスクを同等のクローゼスタイルタスクに変換することである。 しかし、ほとんどのプロンプトラーニング手法はラベル付き単語を手作業で拡張したり、クラス名をクローズ型予測に組み込んだ知識としてしか考慮しない。 本稿では,ラベル単語空間の拡大に際し,短い文章自体とクラス名の両方を考慮し,知識に富む拡張に基づくプロンプトラーニングを用いた簡易な短い文章分類手法を提案する。 具体的には、probaseのようなオープンナレッジグラフから、短いテキストでエンティティに関連するトップ$n$概念を検索し、選択された概念とクラスラベル間の距離計算により拡張ラベル単語をさらに洗練する。 実験結果から,本手法は他の微調整,素早い学習,知識に富んだ学習方法と比較して明らかな改善が得られ,その精度は3つのよく知られたデータセット上で最大6ポイント向上した。

関連論文リスト

• A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into a Verbalizer [15.612761980503658]
  シナリオ固有の概念を取り入れたラベルワード構築プロセスを提案する。 具体的には,タスク固有のシナリオから,ラベルワード候補としてリッチな概念を抽出する。 そこで我々は,各クラスのラベル単語の集合として候補を洗練するための新しいカスケードキャリブレーションモジュールを開発した。
  論文  参考訳（メタデータ） (2024-01-10T15:02:35Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
  テキストのタスク固有の埋め込みを学習する学習目標を提案する。 提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。 本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
  論文  参考訳（メタデータ） (2022-11-30T19:56:25Z)
• Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
  テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。 LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
  論文  参考訳（メタデータ） (2022-04-14T17:33:34Z)
• Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
  我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。 我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。 ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-08-04T13:00:16Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)
• Description Based Text Classification with Reinforcement Learning [34.18824470728299]
  本稿では,各カテゴリのラベルをカテゴリ記述に関連付ける,テキスト分類のための新しいフレームワークを提案する。 我々は、幅広いテキスト分類タスクにおいて、強いベースラインよりも顕著なパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2020-02-08T02:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。