論文の概要: AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction
- arxiv url: http://arxiv.org/abs/2104.07650v1
- Date: Thu, 15 Apr 2021 17:57:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 15:14:41.825861
- Title: AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction
- Title(参考訳): AdaPrompt:関係抽出のための適応型プロンプトベースファインタニング
- Authors: Xiang Chen, Xin Xie, Ningyu Zhang, Jiahuan Yan, Shumin Deng, Chuanqi
Tan, Fei Huang, Luo Si, Huajun Chen
- Abstract要約: 関係抽出タスクをマスク言語モデリングとして再構成する。
本稿では,関係ラベルを可変数のラベルトークンに散乱する適応ラベル単語選択機構を提案する。
- 参考スコア(独自算出の注目度): 37.122623333281204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we reformulate the relation extraction task as mask language
modeling and propose a novel adaptive prompt-based finetuning approach. We
propose an adaptive label words selection mechanism that scatters the relation
label into variable number of label tokens to handle the complex multiple label
space. We further introduce an auxiliary entity discriminator object to
encourage the model to focus on context representation learning. Extensive
experiments on benchmark datasets demonstrate that our approach can achieve
better performance on both the few-shot and supervised setting.
- Abstract(参考訳): 本稿では,関係抽出タスクをマスク言語モデリングとして再構築し,適応型プロンプトベースファインタニング手法を提案する。
複雑な複数ラベル空間を扱うために,関係ラベルを可変数のラベルトークンに散布する適応ラベル単語選択機構を提案する。
さらに,モデルが文脈表現学習に集中するよう促す補助エンティティ識別器オブジェクトを導入する。
ベンチマークデータセットに関する広範囲な実験は、我々のアプローチが、少ない時間と監督された設定の両方でより良いパフォーマンスを達成できることを示しています。
関連論文リスト
- InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural
Language Understanding [51.48361798508375]
我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。
本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-06-08T04:31:48Z) - Patch-Token Aligned Bayesian Prompt Learning for Vision-Language Models [48.37786467926044]
ラベル固有のプロンプトを階層的に生成する。
我々は視覚知識と画像とそれに対応するプロンプトを最適輸送下でパッチやトークンセットとして意味的に正規化する。
提案手法は,インスタンス条件付きプロンプトを生成して一般化性を向上させる条件付きケースに容易に拡張できる。
論文 参考訳(メタデータ) (2023-03-16T06:09:15Z) - LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。
GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。
そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
論文 参考訳(メタデータ) (2023-02-16T04:06:25Z) - Generative Prompt Tuning for Relation Classification [21.027631157115135]
本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。
さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
論文 参考訳(メタデータ) (2022-10-22T12:40:23Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot
Learners [15.130992223266734]
本稿では,データ拡張のためのラベルの豊富なセマンティック情報を利用する新しいラベル誘導型データ拡張フレームワークであるPromptDAを提案する。
本研究は, 提案フレームワークの優れた性能を示すために, テキスト分類タスクを数ショットで行う実験である。
論文 参考訳(メタデータ) (2022-05-18T22:15:20Z) - Prompt-Learning for Short Text Classification [30.53216712864025]
短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。
本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
論文 参考訳(メタデータ) (2022-02-23T08:07:06Z) - Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt
Verbalizer for Text Classification [68.3291372168167]
我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。
我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。
ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
論文 参考訳(メタデータ) (2021-08-04T13:00:16Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。