論文の概要: LabelPrompt: Effective Prompt-based Learning for Relation Classification
- arxiv url: http://arxiv.org/abs/2302.08068v1
- Date: Thu, 16 Feb 2023 04:06:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 15:01:39.638879
- Title: LabelPrompt: Effective Prompt-based Learning for Relation Classification
- Title（参考訳）: labelprompt: 関係分類のための効果的なプロンプトベース学習
- Authors: Wenjie Zhang, Xiaoning Song, Zhenhua Feng, Tianyang Xu, Xiaojun Wu
- Abstract要約: 本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。
「モチベーションの並外れた直感的なアプローチ、GIVE MODEL CHOICES!」
- 参考スコア（独自算出の注目度）: 33.086516531992636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, prompt-based learning has become a very popular solution in many
Natural Language Processing (NLP) tasks by inserting a template into model
input, which converts the task into a cloze-style one to smoothing out
differences between the Pre-trained Language Model (PLM) and the current task.
But in the case of relation classification, it is difficult to map the masked
output to the relation labels because of its abundant semantic information,
e.g. org:founded_by''. Therefore, a pre-trained model still needs enough
labelled data to fit the relations. To mitigate this challenge, in this paper,
we present a novel prompt-based learning method, namely LabelPrompt, for the
relation classification task. It is an extraordinary intuitive approach by a
motivation: ``GIVE MODEL CHOICES!''. First, we define some additional tokens to
represent the relation labels, which regards these tokens as the verbalizer
with semantic initialisation and constructs them with a prompt template method.
Then we revisit the inconsistency of the predicted relation and the given
entities, an entity-aware module with the thought of contrastive learning is
designed to mitigate the problem. At last, we apply an attention query strategy
to self-attention layers to resolve two types of tokens, prompt tokens and
sequence tokens. The proposed strategy effectively improves the adaptation
capability of prompt-based learning in the relation classification task when
only a small labelled data is available. Extensive experimental results
obtained on several bench-marking datasets demonstrate the superiority of the
proposed LabelPrompt method, particularly in the few-shot scenario.
- Abstract（参考訳）: 近年,多くの自然言語処理(NLP)タスクにおいて,テンプレートをモデル入力に挿入することで,事前学習された言語モデル(PLM)と現在のタスクの違いを円滑にするために,タスクをクローゼスタイルのタスクに変換することで,プロンプトベースの学習が広く普及している。
しかし、関係分類の場合、org: founded_by''のような豊富な意味情報があるため、マスクされた出力を関係ラベルにマッピングすることは困難である。
したがって、事前学習されたモデルには、関係に適合する十分なラベル付きデータが必要である。
本稿では,この課題を軽減するために,関係分類タスクのための新しいプロンプトベースの学習手法であるLabelPromptを提案する。
「五モデルCHOICES!」というモチベーションによる並外れた直感的なアプローチである。
まず、関係ラベルを表すいくつかの追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞化子とみなし、それらをプロンプトテンプレートメソッドで構成する。
次に、予測関係と与えられた実体の不一致を再検討し、これを解決するために、コントラスト学習の考え方を持つエンティティ認識モジュールを設計する。
最後に,自己照会層に注意問合せ戦略を適用し,2種類のトークン,すなわちプロンプトトークンとシーケンストークンを解決した。
提案手法は,小さなラベル付きデータしか利用できない場合,関係分類タスクにおけるプロンプトベース学習の適応能力を効果的に改善する。
いくつかのベンチマーキングデータセットで得られた大規模な実験結果から,提案したラベルプロンプト法が優れていることを示す。
関連論文リスト
- Mixture of Prompt Learning for Vision Language Models [12.828490399811376]
ルーティングモジュールを組み込んだソフトプロンプト学習手法の混合を提案する。
このモジュールはデータセットのさまざまなスタイルをキャプチャし、インスタンス毎に最も適切なプロンプトを動的に選択することができる。
また、意味的にグループ化されたテキストレベルの監視を実装し、各ソフトプロンプトを、そのグループから手動で設計されたテンプレートのトークン埋め込みで初期化する。
論文 参考訳（メタデータ） (2024-09-18T14:25:02Z) - STORE: Streamlining Semantic Tokenization and Generative Recommendation with A Single LLM [59.08493154172207]
本稿では,意味的トークン化と生成的レコメンデーションプロセスを合理化する統合フレームワークを提案する。
我々は,意味的トークン化をテキスト・ツー・ケントタスクとして定式化し,生成的推薦をトークン・ツー・ケントタスクとして,トークン・ツー・ケント・コンストラクションタスクとテキスト・ツー・ケント補助タスクで補足する。
これらのタスクはすべて生成的な方法でフレーム化され、単一の大規模言語モデル(LLM)バックボーンを使用してトレーニングされる。
論文 参考訳（メタデータ） (2024-09-11T13:49:48Z) - SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。
SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。
様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
論文 参考訳（メタデータ） (2024-05-24T13:35:56Z) - RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules [30.239044569301534]
弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。
本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。
提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
論文 参考訳（メタデータ） (2024-03-05T12:50:36Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳（メタデータ） (2023-03-23T12:39:20Z) - Generative Prompt Tuning for Relation Classification [21.027631157115135]
本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。
さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
論文 参考訳（メタデータ） (2022-10-22T12:40:23Z) - Prompt-Learning for Short Text Classification [30.53216712864025]
短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。
本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
論文 参考訳（メタデータ） (2022-02-23T08:07:06Z) - Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。
MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。
多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
論文 参考訳（メタデータ） (2021-09-29T19:17:05Z) - KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization
for Relation Extraction [111.74812895391672]
シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。
関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
論文 参考訳（メタデータ） (2021-04-15T17:57:43Z) - Temporal Embeddings and Transformer Models for Narrative Text
Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。
これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。
最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文 参考訳（メタデータ） (2020-03-19T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。