論文の概要: Schema-aware Reference as Prompt Improves Data-Efficient Relational Triple and Event Extraction

• arxiv url: http://arxiv.org/abs/2210.10709v1
• Date: Wed, 19 Oct 2022 16:40:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 14:18:53.223811
• Title: Schema-aware Reference as Prompt Improves Data-Efficient Relational Triple and Event Extraction
• Title（参考訳）: データ効率の高いリレーショナルトリプルとイベント抽出を改善するschema-aware reference as prompt
• Authors: Yunzhi Yao, Shengyu Mao, Xiang Chen, Ningyu Zhang, Shumin Deng, Huajun Chen
• Abstract要約: 本稿では,RAP(Schema-Aware Reference As Prompt)の新たなアプローチを提案する。 RAPは、各サンプルのグローバル(フェーショット)トレーニングデータから受け継いだスキーマと知識を動的に活用する。 RAPは、様々な既存モデルにプラグインすることができ、低リソース設定でベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 37.39660017026202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information Extraction, which aims to extract structural relational triple or event from unstructured texts, often suffers from data scarcity issues. With the development of pre-trained language models, many prompt-based approaches to data-efficient information extraction have been proposed and achieved impressive performance. However, existing prompt learning methods for information extraction are still susceptible to several potential limitations: (i) semantic gap between natural language and output structure knowledge with pre-defined schema; (ii) representation learning with locally individual instances limits the performance given the insufficient features. In this paper, we propose a novel approach of schema-aware Reference As Prompt (RAP), which dynamically leverage schema and knowledge inherited from global (few-shot) training data for each sample. Specifically, we propose a schema-aware reference store, which unifies symbolic schema and relevant textual instances. Then, we employ a dynamic reference integration module to retrieve pertinent knowledge from the datastore as prompts during training and inference. Experimental results demonstrate that RAP can be plugged into various existing models and outperforms baselines in low-resource settings on five datasets of relational triple extraction and event extraction. In addition, we provide comprehensive empirical ablations and case analysis regarding different types and scales of knowledge in order to better understand the mechanisms of RAP. Code is available in https://github.com/zjunlp/RAP.
• Abstract（参考訳）: 非構造化テキストから構造的リレーショナルトリプルやイベントを抽出することを目的とした情報抽出は、データ不足の問題に苦しむことが多い。 事前学習型言語モデルの開発により,データ効率のよい情報抽出手法が提案され,性能が向上した。 しかし、情報抽出のための既存のプロンプト学習手法は、まだいくつかの潜在的な制限を受けやすい。 (i)事前定義されたスキーマによる自然言語と出力構造知識のセマンティックギャップ (II)局所的な個別インスタンスによる表現学習は、不十分な特徴から性能を制限する。 本稿では,各サンプルのグローバル(フェーショット)トレーニングデータから受け継いだスキーマと知識を動的に活用する,スキーマ対応リファレンス・アズ・プロンプト(RAP)の新たなアプローチを提案する。 具体的には、シンボルスキーマと関連するテキストインスタンスを統一するスキーマ対応参照ストアを提案する。 次に、動的参照統合モジュールを用いて、トレーニングおよび推論中に、データストアから関連する知識を抽出する。 実験結果から,RAPを既存のモデルにプラグインし,リレーショナルトリプル抽出とイベント抽出の5つのデータセット上で,低リソース環境でのベースラインよりも優れた性能を示すことがわかった。 さらに,RAPのメカニズムをよりよく理解するために,様々なタイプの知識と尺度に関する包括的経験的説明と事例分析を提供する。 コードはhttps://github.com/zjunlp/RAPで入手できる。

関連論文リスト

• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Exploring In-Context Learning Capabilities of Foundation Models for Generating Knowledge Graphs from Text [3.114960935006655]
  本論文は,知識グラフの自動構築と完成の技術をテキストから改善することを目的としている。 この文脈では、新しいパラダイムの1つは、言語モデルがプロンプトとともにそのまま使われる、コンテキスト内学習である。
  論文  参考訳（メタデータ） (2023-05-15T17:10:19Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。