論文の概要: Labels Need Prompts Too Mask Matching for Natural Language Understanding Tasks

• arxiv url: http://arxiv.org/abs/2312.08726v1
• Date: Thu, 14 Dec 2023 08:14:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 23:35:49.438200
• Title: Labels Need Prompts Too Mask Matching for Natural Language Understanding Tasks
• Title（参考訳）: ラベルは自然言語理解タスクにあまりにもマスクマッチングを必要とする
• Authors: Bo Li, Wei Ye, Quansen Wang, Wen Zhao, Shikun Zhang
• Abstract要約: モデル入力を豊かにするために広く使われているプロンプト手法をラベル側に初めて組み込む。 具体的には,入力にプロンプトとラベルを付与し,マスク表現をマッチングして予測を行うマスクマッチング手法を提案する。
• 参考スコア（独自算出の注目度）: 28.03869927158814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textual label names (descriptions) are typically semantically rich in many natural language understanding (NLU) tasks. In this paper, we incorporate the prompting methodology, which is widely used to enrich model input, into the label side for the first time. Specifically, we propose a Mask Matching method, which equips an input with a prompt and its label with another, and then makes predictions by matching their mask representations. We evaluate our method extensively on 8 NLU tasks with 14 datasets. The experimental results show that Mask Matching significantly outperforms its counterparts of fine-tuning and conventional prompt-tuning, setting up state-of-the-art performances in several datasets. Mask Matching is particularly good at handling NLU tasks with large label counts and informative label names. As pioneering efforts that investigate the label-side prompt, we also discuss open issues for future study.
• Abstract（参考訳）: テキストラベル名(記述)は、典型的には多くの自然言語理解(NLU)タスクに意味的に富んでいる。 本稿では,モデル入力のエンリッチ化に広く用いられているプロンプト手法をラベル側に初めて導入する。 具体的には,入力にプロンプトとそのラベルを付与し,マスク表現と照合して予測を行うマスクマッチング手法を提案する。 14個のデータセットで8つのNLUタスクを広範囲に評価した。 実験結果から,Mask Matchingは細調整や従来型のプロンプトチューニングにおいて,いくつかのデータセットにおける最先端のパフォーマンスを著しく向上させることがわかった。 マスクマッチングは、大きなラベル数と情報的なラベル名でNLUタスクを扱うのに特に適している。 ラベル側のプロンプトを調査する先駆的な取り組みとして,今後の研究の課題についても議論する。

関連論文リスト

• On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
  大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。 LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。 本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Leveraging Hallucinations to Reduce Manual Prompt Dependency in Promptable Segmentation [74.04806143723597]
  本稿では,プロペラジェネレータとマスクジェネレータを備えたProMaC(Prompt-Mask Cycle Generation framework)を提案する。 プロンプトジェネレータは、最初は、テストイメージ上で拡張された文脈知識を抽出するための幻覚を探究する、複数スケールの思考プロンプトの連鎖を使用する。 生成されたマスクは、プロンプトジェネレータを反復的にタスク関連の画像領域に集中させ、無関係な幻覚を減らし、より良いプロンプトとマスクを共同で生成する。
  論文  参考訳（メタデータ） (2024-08-27T17:06:22Z)
• KeNet:Knowledge-enhanced Doc-Label Attention Network for Multi-label text classification [12.383260095788042]
  マルチラベルテキスト分類(MLTC)は自然言語処理(NLP)の分野における基本的な課題である 我々は、外部知識、ラベル埋め込み、および包括的な注意機構を組み込んだ注意ネットワークを設計する。 提案手法は,3つのマルチラベルデータセットを用いた総合的な研究によって検証されている。
  論文  参考訳（メタデータ） (2024-03-04T06:52:19Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。 そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)
• GuidedMix-Net: Semi-supervised Semantic Segmentation by Using Labeled Images as Reference [90.5402652758316]
  半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。 ラベル付き情報を使用して、ラベルなしのインスタンスの学習をガイドする。 競合セグメンテーションの精度を達成し、mIoUを以前のアプローチに比べて+7$%大きく改善する。
  論文  参考訳（メタデータ） (2021-12-28T06:48:03Z)
• Open-Vocabulary Instance Segmentation via Robust Cross-Modal Pseudo-Labeling [61.03262873980619]
  Open-vocabularyのインスタンスセグメンテーションは、マスクアノテーションなしで新しいクラスをセグメンテーションすることを目的としている。 本研究では,字幕内の単語の意味を画像中のオブジェクトマスクの視覚的特徴と整合させることで,擬似マスクの訓練を行うクロスモーダルな擬似ラベルフレームワークを提案する。 我々のフレームワークは、生徒の自己学習のための単語意味論を通じて、キャプションに新しいクラスをラベル付けすることができる。
  論文  参考訳（メタデータ） (2021-11-24T18:50:47Z)
• Enhanced Language Representation with Label Knowledge for Span Extraction [2.4909170697740963]
  ラベル知識を統合するための新しいパラダイムを導入し、ラベル知識をテキスト表現に明示的にかつ効率的に統合する新しいモデルを提案する。 具体的には、テキストとラベルアノテーションを独立してエンコードし、ラベル知識をテキスト表現と精巧に設計されたセマンティックス融合モジュールに統合する。 我々は,フラットNER,ネストNER,イベント検出の3つの典型的なスパン抽出タスクについて広範な実験を行った。 提案手法は4つのベンチマークで最先端性能を実現し,2)QA形式化パラダイムと比較して,トレーニング時間と推論時間を平均で76%,77%削減する。
  論文  参考訳（メタデータ） (2021-11-01T12:21:05Z)
• GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as Reference [153.354332374204]
  半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。 まず、ラベル付きデータとラベルなしデータの間に特徴アライメントの目的を導入し、類似した画像対をキャプチャする。 MITransは、ラベルなしデータのさらなるプログレッシブな精細化のための強力な知識モジュールであることが示されている。 ラベル付きデータに対する教師付き学習とともに、ラベル付きデータの予測が生成した擬似マスクとともに学習される。
  論文  参考訳（メタデータ） (2021-06-29T02:48:45Z)
• Label Mask for Multi-Label Text Classification [6.742627397194543]
  本稿では,言語モデルのクローズ問題に着想を得た多言語テキスト分類モデル (LM-MTC) を提案する。 そこで,各潜在的なラベルに対して異なるトークンを割り当て,ある確率でランダムにトークンをマスクし,ラベルに基づくマスケッド言語モデル(MLM)を構築する。
  論文  参考訳（メタデータ） (2021-06-18T11:54:33Z)
• Label-Wise Document Pre-Training for Multi-Label Text Classification [14.439051753832032]
  本稿では,ラベル認識情報を用いた文書表現を実現するLW-PT法を提案する。 基本的な考え方は、複数ラベルの文書は、複数のラベルの表現の組み合わせとして表すことができ、相関ラベルは、常に同じまたは類似の文書で共起するということである。
  論文  参考訳（メタデータ） (2020-08-15T10:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。