論文の概要: CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction

• arxiv url: http://arxiv.org/abs/2205.00498v1
• Date: Sun, 1 May 2022 16:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 03:32:00.766926
• Title: CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction
• Title（参考訳）: CUP: 命令文抽出のためのカリキュラム学習に基づくプロンプトチューニング
• Authors: Jiaju Lin, Qin Chen, Jie Zhou, Jian Jin and Liang He
• Abstract要約: Implicit Event argument extract (EAE) は、文書に散らばる可能性のある引数を特定することを目的としている。 本稿では,4つの学習段階によって暗黙的EAEを解消する,カリキュラム学習に基づくプロンプトチューニング(CUP)手法を提案する。 さらに,事前学習した言語モデルから関連する知識を引き出すために,プロンプトベースのエンコーダデコーダモデルを統合する。
• 参考スコア（独自算出の注目度）: 22.746071199667146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit event argument extraction (EAE) aims to identify arguments that could scatter over the document. Most previous work focuses on learning the direct relations between arguments and the given trigger, while the implicit relations with long-range dependency are not well studied. Moreover, recent neural network based approaches rely on a large amount of labeled data for training, which is unavailable due to the high labelling cost. In this paper, we propose a Curriculum learning based Prompt tuning (CUP) approach, which resolves implicit EAE by four learning stages. The stages are defined according to the relations with the trigger node in a semantic graph, which well captures the long-range dependency between arguments and the trigger. In addition, we integrate a prompt-based encoder-decoder model to elicit related knowledge from pre-trained language models (PLMs) in each stage, where the prompt templates are adapted with the learning progress to enhance the reasoning for arguments. Experimental results on two well-known benchmark datasets show the great advantages of our proposed approach. In particular, we outperform the state-of-the-art models in both fully-supervised and low-data scenarios.
• Abstract（参考訳）: Implicit Event argument extract (EAE) は、文書に散らばる可能性のある引数を特定することを目的としている。 これまでのほとんどの研究は、引数と与えられたトリガーの間の直接的な関係を学習することに焦点を当てているが、長距離依存との暗黙的な関係は十分に研究されていない。 さらに、最近のニューラルネットワークベースのアプローチでは、トレーニングのために大量のラベル付きデータに依存しているが、ラベルコストが高いため利用できない。 本稿では,4つの学習段階によって暗黙的EAEを解消する,カリキュラム学習に基づくプロンプトチューニング(CUP)手法を提案する。 ステージはセマンティックグラフのトリガーノードとの関係に基づいて定義され、引数とトリガーの間の長距離依存性をうまくキャプチャする。 さらに,各段階における事前学習言語モデル(PLM)から関連する知識を引き出すために,プロンプトベースのエンコーダ・デコーダモデルを統合する。 2つのよく知られたベンチマークデータセットの実験結果は、提案手法の大きな利点を示している。 特に、完全な教師付きシナリオと低データシナリオの両方において、最先端モデルよりも優れています。

関連論文リスト

• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Enhancing Document-level Event Argument Extraction with Contextual Clues and Role Relevance [12.239459451494872]
  ドキュメントレベルのイベント引数抽出は、ロングインプットとクロスセンス推論という新たな課題を引き起こす。 本研究では,Span-Triggerに基づくコンテキストプーリングと潜在ロールガイダンスモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-08T11:29:10Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• GRASP: Guiding model with RelAtional Semantics using Prompt [3.1275060062551208]
  本稿では Prompt (GRASP) を用いたRelAtional Semantics を用いた誘導モデルを提案する。 我々は、プロンプトベースの微調整アプローチを採用し、引数を意識したプロンプトマーカー戦略を用いて、ある対話における関係意味的手がかりをキャプチャする。 実験では、DialogREデータセット上でのF1とF1cのスコアの観点から、GRASPの最先端のパフォーマンスが評価された。
  論文  参考訳（メタデータ） (2022-08-26T08:19:28Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• On the Use of External Data for Spoken Named Entity Recognition [40.93448412171246]
  近年の自己教師型音声表現の進歩により,ラベル付きデータに制限のある学習モデルを考えることが可能になった。 自己学習、知識蒸留、トランスファーラーニングなど、さまざまなアプローチを採用し、エンドツーエンドモデルとパイプラインアプローチの両方に適用性を検討する。
  論文  参考訳（メタデータ） (2021-12-14T18:49:26Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Eliciting Knowledge from Language Models for Event Extraction [3.4448178503887807]
  本稿では,イベントトリガ検出と引数抽出のための事前学習言語モデルから知識を抽出する。 本稿では,異なるトリガや引数間の相互作用をモデル化することにより,より相補的な知識を導き出す,様々な共同トリガ/引数プロンプト手法を提案する。 我々のアプローチは、少数のサンプルしかトレーニングに使用しない数ショットシナリオにおいて、最近の先進的な手法よりも優れている。
  論文  参考訳（メタデータ） (2021-09-11T05:16:33Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)
• A Simple Approach to Case-Based Reasoning in Knowledge Bases [56.661396189466664]
  我々は,古典人工知能(AI)におけるケースベース推論を想起させる,アンフノトレーニングを必要とする知識グラフ(KG)における推論に対する驚くほど単純かつ正確なアプローチを提案する。 ソースエンティティとバイナリ関係が与えられたターゲットエンティティを見つけるタスクを考えてみましょう。 我々の非パラメトリックなアプローチは、与えられた関係を通して類似したソースエンティティを接続する複数のテキストトグラフパスパターンを見つけることによって、クエリ毎にクレープな論理ルールを導出します。
  論文  参考訳（メタデータ） (2020-06-25T06:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。