Fugu-MT 論文翻訳(概要): AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

論文の概要: AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

arxiv url: http://arxiv.org/abs/2104.07650v1
Date: Thu, 15 Apr 2021 17:57:43 GMT
ステータス: 処理完了
システム内更新日: 2021-04-16 15:14:41.825861
Title: AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction
Title（参考訳）: AdaPrompt:関係抽出のための適応型プロンプトベースファインタニング
Authors: Xiang Chen, Xin Xie, Ningyu Zhang, Jiahuan Yan, Shumin Deng, Chuanqi Tan, Fei Huang, Luo Si, Huajun Chen
Abstract要約: 関係抽出タスクをマスク言語モデリングとして再構成する。本稿では,関係ラベルを可変数のラベルトークンに散乱する適応ラベル単語選択機構を提案する。
参考スコア（独自算出の注目度）: 37.122623333281204
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we reformulate the relation extraction task as mask language modeling and propose a novel adaptive prompt-based finetuning approach. We propose an adaptive label words selection mechanism that scatters the relation label into variable number of label tokens to handle the complex multiple label space. We further introduce an auxiliary entity discriminator object to encourage the model to focus on context representation learning. Extensive experiments on benchmark datasets demonstrate that our approach can achieve better performance on both the few-shot and supervised setting.
Abstract（参考訳）: 本稿では,関係抽出タスクをマスク言語モデリングとして再構築し,適応型プロンプトベースファインタニング手法を提案する。複雑な複数ラベル空間を扱うために,関係ラベルを可変数のラベルトークンに散布する適応ラベル単語選択機構を提案する。さらに,モデルが文脈表現学習に集中するよう促す補助エンティティ識別器オブジェクトを導入する。ベンチマークデータセットに関する広範囲な実験は、我々のアプローチが、少ない時間と監督された設定の両方でより良いパフォーマンスを達成できることを示しています。

関連論文リスト

SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics [2.3742710594744105]
SciPromptは,低リソーステキスト分類タスクに対して,科学的トピック関連用語を自動的に検索するフレームワークである。本手法は, ほとんど, ゼロショット設定下での科学的テキスト分類作業において, 最先端, 即時的な微調整法より優れる。
論文参考訳（メタデータ） (2024-10-02T18:45:04Z)
Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models [8.588056811772693]
ConPARE-LAMAは、3400万の異なるプロンプトからなるプローブで、最小限のパラフレーズ間での比較を容易にする。 ConPARE-LAMAは, PLMの知識検索性能に対する統語的形態や意味情報の独立的な影響についての洞察を可能にする。
論文参考訳（メタデータ） (2024-04-02T14:35:08Z)
InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2023-06-08T04:31:48Z)
LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
論文参考訳（メタデータ） (2023-02-16T04:06:25Z)
Generative Prompt Tuning for Relation Classification [21.027631157115135]
本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
論文参考訳（メタデータ） (2022-10-22T12:40:23Z)
Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文参考訳（メタデータ） (2022-10-19T16:40:28Z)
Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
論文参考訳（メタデータ） (2022-05-23T07:51:15Z)
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
論文参考訳（メタデータ） (2021-08-04T13:00:16Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。