論文の概要: Eliciting Knowledge from Language Models for Event Extraction

• arxiv url: http://arxiv.org/abs/2109.05190v1
• Date: Sat, 11 Sep 2021 05:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-18 16:23:10.849598
• Title: Eliciting Knowledge from Language Models for Event Extraction
• Title（参考訳）: イベント抽出のための言語モデルからの知識の抽出
• Authors: Jiaju Lin, Jin Jian, Qin Chen
• Abstract要約: 本稿では,イベントトリガ検出と引数抽出のための事前学習言語モデルから知識を抽出する。 本稿では,異なるトリガや引数間の相互作用をモデル化することにより,より相補的な知識を導き出す,様々な共同トリガ/引数プロンプト手法を提案する。 我々のアプローチは、少数のサンプルしかトレーニングに使用しない数ショットシナリオにおいて、最近の先進的な手法よりも優れている。
• 参考スコア（独自算出の注目度）: 3.4448178503887807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Eliciting knowledge contained in language models via prompt-based learning has shown great potential in many natural language processing tasks, such as text classification and generation. Whereas, the applications for more complex tasks such as event extraction are less studied, since the design of prompt is not straightforward due to the complicated types and arguments. In this paper, we explore to elicit the knowledge from pre-trained language models for event trigger detection and argument extraction. Specifically, we present various joint trigger/argument prompt methods, which can elicit more complementary knowledge by modeling the interactions between different triggers or arguments. The experimental results on the benchmark dataset, namely ACE2005, show the great advantages of our proposed approach. In particular, our approach is superior to the recent advanced methods in the few-shot scenario where only a few samples are used for training.
• Abstract（参考訳）: プロンプトベースの学習を通じて言語モデルに含まれる知識を引き出すことは、テキストの分類や生成など、多くの自然言語処理タスクにおいて大きな可能性を秘めている。 一方、プロンプトの設計は複雑な型と引数のため単純ではないため、イベント抽出のようなより複雑なタスクのアプリケーションはあまり研究されていない。 本稿では,イベントトリガ検出と引数抽出のための事前学習言語モデルから知識を抽出する。 具体的には,異なるトリガや引数間の相互作用をモデル化することにより,より相補的な知識を導出する様々な統合トリガ/アギュメントプロンプト法を提案する。 ベンチマークデータセットであるace2005の実験結果は,提案手法の利点を示している。 特に,我々のアプローチは,少数のサンプルしかトレーニングに使用されていない,最近の先進的な手法よりも優れている。

関連論文リスト

• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction [22.746071199667146]
  Implicit Event argument extract (EAE) は、文書に散らばる可能性のある引数を特定することを目的としている。 本稿では,4つの学習段階によって暗黙的EAEを解消する,カリキュラム学習に基づくプロンプトチューニング(CUP)手法を提案する。 さらに,事前学習した言語モデルから関連する知識を引き出すために,プロンプトベースのエンコーダデコーダモデルを統合する。
  論文  参考訳（メタデータ） (2022-05-01T16:03:54Z)
• Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction [80.61458287741131]
  ゼロショット言語間イベント引数抽出(EAE)における多言語事前学習型生成言語モデルの活用について検討する。 EAEを言語生成タスクとして定式化することにより、イベント構造を効果的にエンコードし、引数間の依存関係をキャプチャする。 提案するモデルでは,多言語事前学習型生成言語モデルを用いて,入力文から抽出した引数で言語に依存しないテンプレートを補う文を生成する。
  論文  参考訳（メタデータ） (2022-03-15T23:00:32Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm [0.0]
  自然言語のレンズを通してプロンプトを考えることの有用性を強調しながら,プロンプトプログラミングの手法について論じる。 モデルに種を付けて、さまざまなタスクのための独自の自然言語プロンプトを生成するメタプロンプトのアイデアを紹介します。
  論文  参考訳（メタデータ） (2021-02-15T05:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。