論文の概要: A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into a Verbalizer

• arxiv url: http://arxiv.org/abs/2401.05204v1
• Date: Wed, 10 Jan 2024 15:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 14:17:26.840934
• Title: A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into a Verbalizer
• Title（参考訳）: 新しいPrompt-tuning手法:シナリオ固有の概念をバーバリザーに組み込む
• Authors: Yong Ma, Senlin Luo, Yu-Ming Shang, Zhengjun Li, Yong Liu
• Abstract要約: シナリオ固有の概念を取り入れたラベルワード構築プロセスを提案する。 具体的には,タスク固有のシナリオから,ラベルワード候補としてリッチな概念を抽出する。 そこで我々は,各クラスのラベル単語の集合として候補を洗練するための新しいカスケードキャリブレーションモジュールを開発した。
• 参考スコア（独自算出の注目度）: 15.612761980503658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The verbalizer, which serves to map label words to class labels, is an essential component of prompt-tuning. In this paper, we present a novel approach to constructing verbalizers. While existing methods for verbalizer construction mainly rely on augmenting and refining sets of synonyms or related words based on class names, this paradigm suffers from a narrow perspective and lack of abstraction, resulting in limited coverage and high bias in the label-word space. To address this issue, we propose a label-word construction process that incorporates scenario-specific concepts. Specifically, we extract rich concepts from task-specific scenarios as label-word candidates and then develop a novel cascade calibration module to refine the candidates into a set of label words for each class. We evaluate the effectiveness of our proposed approach through extensive experiments on {five} widely used datasets for zero-shot text classification. The results demonstrate that our method outperforms existing methods and achieves state-of-the-art results.
• Abstract（参考訳）: ラベル単語をクラスラベルにマップするのに役立つ動詞修飾器は、プロンプトチューニングの重要な構成要素である。 そこで本稿では, 言語化のための新しい手法を提案する。 既存の動詞体系構築の手法は、主にクラス名に基づく同義語や関連語の集合の増補と精製に頼っているが、このパラダイムは狭義の視点と抽象性の欠如に悩まされており、限定的なカバレッジとラベルワード空間における高いバイアスをもたらす。 この問題に対処するため,シナリオ固有の概念を取り入れたラベルワード構築プロセスを提案する。 具体的には、タスク固有のシナリオから豊富な概念をラベルワード候補として抽出し、新しいカスケードキャリブレーションモジュールを開発し、候補を各クラスのラベルワードの集合に洗練する。 提案手法の有効性を,ゼロショットテキスト分類のための5つのデータセットを用いた広範囲な実験により評価した。 その結果,本手法は既存の手法よりも優れ,最先端の結果が得られた。

関連論文リスト

• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• FastClass: A Time-Efficient Approach to Weakly-Supervised Text Classification [14.918600168973564]
  本稿では,効率的な弱教師付き分類手法であるFastClassを提案する。 センシティブテキスト表現を使用して、外部ラベルなしコーパスからクラス関連文書を検索する。 実験により,提案手法は,分類精度の観点からキーワード駆動モデルよりも優れており,訓練速度のオーダー・オブ・マグニチュードが高速であることが確認された。
  論文  参考訳（メタデータ） (2022-12-11T13:43:22Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Prompt-Learning for Short Text Classification [30.53216712864025]
  短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。 本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
  論文  参考訳（メタデータ） (2022-02-23T08:07:06Z)
• Expert Knowledge-Guided Length-Variant Hierarchical Label Generation for Proposal Classification [21.190465278587045]
  提案分類は、提案をラベルの長さ可変シーケンスに分類することを目的としている。 我々は3つの特徴を共同でモデル化する新しいディーププロポーザル分類フレームワークを開発した。 我々のモデルは,次のラベル予測を止めるために,ラベルシーケンスの最適な長さを自動的に識別することができる。
  論文  参考訳（メタデータ） (2021-09-14T13:09:28Z)
• Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
  我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。 我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。 ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-08-04T13:00:16Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。