論文の概要: KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization
for Relation Extraction
- arxiv url: http://arxiv.org/abs/2104.07650v7
- Date: Mon, 18 Sep 2023 16:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 02:30:25.700546
- Title: KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization
for Relation Extraction
- Title(参考訳): KnowPrompt:関係抽出のための構文最適化を用いた知識認識型プロンプトチューニング
- Authors: Xiang Chen, Ningyu Zhang, Xin Xie, Shumin Deng, Yunzhi Yao, Chuanqi
Tan, Fei Huang, Luo Si, Huajun Chen
- Abstract要約: シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。
関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
- 参考スコア(独自算出の注目度): 111.74812895391672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, prompt-tuning has achieved promising results for specific few-shot
classification tasks. The core idea of prompt-tuning is to insert text pieces
(i.e., templates) into the input and transform a classification task into a
masked language modeling problem. However, for relation extraction, determining
an appropriate prompt template requires domain expertise, and it is cumbersome
and time-consuming to obtain a suitable label word. Furthermore, there exists
abundant semantic and prior knowledge among the relation labels that cannot be
ignored. To this end, we focus on incorporating knowledge among relation labels
into prompt-tuning for relation extraction and propose a Knowledge-aware
Prompt-tuning approach with synergistic optimization (KnowPrompt).
Specifically, we inject latent knowledge contained in relation labels into
prompt construction with learnable virtual type words and answer words. Then,
we synergistically optimize their representation with structured constraints.
Extensive experimental results on five datasets with standard and low-resource
settings demonstrate the effectiveness of our approach. Our code and datasets
are available in https://github.com/zjunlp/KnowPrompt for reproducibility.
- Abstract(参考訳): 最近、プロンプトチューニングは、特定の少数ショット分類タスクで有望な結果を達成している。
プロンプトチューニングの基本的な考え方は、テキスト断片(テンプレート)を入力に挿入し、分類タスクをマスク付き言語モデリング問題に変換することである。
しかし、関係抽出には適切なプロンプトテンプレートを決定するにはドメインの専門知識が必要であり、適切なラベル語を得るには手間がかかる。
さらに、無視できない関係ラベルの間には、豊富な意味と事前の知識が存在する。
そこで本稿では,関係ラベル間の知識を関係抽出のプロンプトに組み込むことに焦点をあて,相乗的最適化(KnowPrompt)を用いた知識認識型 Prompt-tuning 手法を提案する。
具体的には,関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
次に,構造制約による表現を相乗的に最適化する。
標準および低リソース設定の5つのデータセットに関する広範な実験結果から,本手法の有効性が示された。
私たちのコードとデータセットは、再現性のためにhttps://github.com/zjunlp/knowpromptで利用可能です。
関連論文リスト
- InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural
Language Understanding [51.48361798508375]
我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。
本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-06-08T04:31:48Z) - Patch-Token Aligned Bayesian Prompt Learning for Vision-Language Models [48.37786467926044]
ラベル固有のプロンプトを階層的に生成する。
我々は視覚知識と画像とそれに対応するプロンプトを最適輸送下でパッチやトークンセットとして意味的に正規化する。
提案手法は,インスタンス条件付きプロンプトを生成して一般化性を向上させる条件付きケースに容易に拡張できる。
論文 参考訳(メタデータ) (2023-03-16T06:09:15Z) - LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。
GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。
そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
論文 参考訳(メタデータ) (2023-02-16T04:06:25Z) - Generative Prompt Tuning for Relation Classification [21.027631157115135]
本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。
さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
論文 参考訳(メタデータ) (2022-10-22T12:40:23Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot
Learners [15.130992223266734]
本稿では,データ拡張のためのラベルの豊富なセマンティック情報を利用する新しいラベル誘導型データ拡張フレームワークであるPromptDAを提案する。
本研究は, 提案フレームワークの優れた性能を示すために, テキスト分類タスクを数ショットで行う実験である。
論文 参考訳(メタデータ) (2022-05-18T22:15:20Z) - Prompt-Learning for Short Text Classification [30.53216712864025]
短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。
本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
論文 参考訳(メタデータ) (2022-02-23T08:07:06Z) - Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt
Verbalizer for Text Classification [68.3291372168167]
我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。
我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。
ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
論文 参考訳(メタデータ) (2021-08-04T13:00:16Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。