論文の概要: KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

• arxiv url: http://arxiv.org/abs/2104.07650v7
• Date: Mon, 18 Sep 2023 16:46:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 02:30:25.700546
• Title: KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction
• Title（参考訳）: KnowPrompt:関係抽出のための構文最適化を用いた知識認識型プロンプトチューニング
• Authors: Xiang Chen, Ningyu Zhang, Xin Xie, Shumin Deng, Yunzhi Yao, Chuanqi Tan, Fei Huang, Luo Si, Huajun Chen
• Abstract要約: シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
• 参考スコア（独自算出の注目度）: 111.74812895391672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, prompt-tuning has achieved promising results for specific few-shot classification tasks. The core idea of prompt-tuning is to insert text pieces (i.e., templates) into the input and transform a classification task into a masked language modeling problem. However, for relation extraction, determining an appropriate prompt template requires domain expertise, and it is cumbersome and time-consuming to obtain a suitable label word. Furthermore, there exists abundant semantic and prior knowledge among the relation labels that cannot be ignored. To this end, we focus on incorporating knowledge among relation labels into prompt-tuning for relation extraction and propose a Knowledge-aware Prompt-tuning approach with synergistic optimization (KnowPrompt). Specifically, we inject latent knowledge contained in relation labels into prompt construction with learnable virtual type words and answer words. Then, we synergistically optimize their representation with structured constraints. Extensive experimental results on five datasets with standard and low-resource settings demonstrate the effectiveness of our approach. Our code and datasets are available in https://github.com/zjunlp/KnowPrompt for reproducibility.
• Abstract（参考訳）: 最近、プロンプトチューニングは、特定の少数ショット分類タスクで有望な結果を達成している。 プロンプトチューニングの基本的な考え方は、テキスト断片(テンプレート)を入力に挿入し、分類タスクをマスク付き言語モデリング問題に変換することである。 しかし、関係抽出には適切なプロンプトテンプレートを決定するにはドメインの専門知識が必要であり、適切なラベル語を得るには手間がかかる。 さらに、無視できない関係ラベルの間には、豊富な意味と事前の知識が存在する。 そこで本稿では,関係ラベル間の知識を関係抽出のプロンプトに組み込むことに焦点をあて,相乗的最適化(KnowPrompt)を用いた知識認識型 Prompt-tuning 手法を提案する。 具体的には,関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。 次に,構造制約による表現を相乗的に最適化する。 標準および低リソース設定の5つのデータセットに関する広範な実験結果から,本手法の有効性が示された。 私たちのコードとデータセットは、再現性のためにhttps://github.com/zjunlp/knowpromptで利用可能です。

関連論文リスト

• SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics [2.3742710594744105]
  SciPromptは,低リソーステキスト分類タスクに対して,科学的トピック関連用語を自動的に検索するフレームワークである。 本手法は, ほとんど, ゼロショット設定下での科学的テキスト分類作業において, 最先端, 即時的な微調整法より優れる。
  論文  参考訳（メタデータ） (2024-10-02T18:45:04Z)
• Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models [8.588056811772693]
  ConPARE-LAMAは、3400万の異なるプロンプトからなるプローブで、最小限のパラフレーズ間での比較を容易にする。 ConPARE-LAMAは, PLMの知識検索性能に対する統語的形態や意味情報の独立的な影響についての洞察を可能にする。
  論文  参考訳（メタデータ） (2024-04-02T14:35:08Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。 そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)
• Generative Prompt Tuning for Relation Classification [21.027631157115135]
  本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。 さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
  論文  参考訳（メタデータ） (2022-10-22T12:40:23Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
  我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。 我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。 ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-08-04T13:00:16Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。