論文の概要: EVIT: Event-Oriented Instruction Tuning for Event Reasoning

• arxiv url: http://arxiv.org/abs/2404.11978v1
• Date: Thu, 18 Apr 2024 08:14:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 13:01:02.023665
• Title: EVIT: Event-Oriented Instruction Tuning for Event Reasoning
• Title（参考訳）: EVIT: イベント推論のためのイベント指向のインストラクションチューニング
• Authors: Zhengwei Tao, Xiancai Chen, Zhi Jin, Xiaoying Bai, Haiyan Zhao, Yiwei Lou,
• Abstract要約: イベント推論は、特定の関係に従ってイベントを推論し、将来のイベントを予測することを目的としている。 大規模言語モデル(LLM)は、その豊富な知識と推論能力のために、イベント推論において大きな進歩を遂げている。 しかし、現在使われている命令調整モデルでは、これらのタスクを管理するのに例外的な習熟度が一貫して示されていない。
• 参考スコア（独自算出の注目度）: 18.012724531672813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Events refer to specific occurrences, incidents, or happenings that take place under a particular background. Event reasoning aims to infer events according to certain relations and predict future events. The cutting-edge techniques for event reasoning play a crucial role in various natural language processing applications. Large language models (LLMs) have made significant advancements in event reasoning owing to their wealth of knowledge and reasoning capabilities. However, smaller instruction-tuned models currently in use do not consistently demonstrate exceptional proficiency in managing these tasks. This discrepancy arises from the absence of explicit modeling of events and the interconnections of them within their instruction data. Consequently, these models face challenges in comprehending event structures and semantics while struggling to bridge the gap between their interpretations and human understanding of events. Additionally, their limitations in grasping event relations lead to constrained event reasoning abilities to effectively deduce and incorporate pertinent event knowledge. In this paper, we propose Event-Oriented Instruction Tuning (EvIT) to train our LLM. Specifically, we first propose a novel structure named event quadruple which contains the structure and semantics of events and is complete in the event representation. We then design event-relation learning based on the structures. We encapsulate the learning into the instruction-tuning formulation to better stimulate the event reasoning capacity of our model. We design a heuristic unsupervised method to mine event quadruple from a large-scale corpus. At last, we finetune a Llama model on our Event-Oriented Instruction Tuning. We conduct extensive experiments on event reasoning tasks on several datasets. Automatic and human evaluations demonstrate EvIT achieves competitive performances on event reasoning.
• Abstract（参考訳）: イベント(英: Event)とは、特定の背景の下で発生する特定の出来事、出来事、または出来事を指す。 イベント推論は、特定の関係に従ってイベントを推論し、将来のイベントを予測することを目的としている。 イベント推論の最先端技術は、様々な自然言語処理アプリケーションにおいて重要な役割を担っている。 大規模言語モデル(LLM)は、その豊富な知識と推論能力のために、イベント推論において大きな進歩を遂げている。 しかし、現在使われている命令調整モデルでは、これらのタスクを管理するのに例外的な習熟度を一貫して示していない。 この違いは、イベントの明示的なモデリングや命令データ内のイベントの相互接続がないことから生じる。 その結果、これらのモデルは、解釈と出来事の人間の理解のギャップを埋めるのに苦労しながら、イベント構造とセマンティクスを理解する上で困難に直面します。 さらに、イベント関係の把握における制限は、関連するイベント知識を効果的に推論し、組み込む制約付きイベント推論能力をもたらす。 本稿では,LLMを学習するためのイベント指向インストラクションチューニング(EvIT)を提案する。 具体的には、まず、イベントの構造とセマンティクスを含むイベント四重項という新しい構造を提案し、イベント表現で完結する。 次に、構造に基づいてイベント関連学習を設計する。 学習を命令チューニングの定式化にカプセル化することで,モデルの事象推論能力の向上を図る。 大規模コーパスからイベント四重項を抽出するためのヒューリスティックな教師なし手法を設計する。 最後に、イベント指向のインストラクションチューニングでLlamaモデルを微調整します。 いくつかのデータセット上でイベント推論タスクに関する広範な実験を行う。 自動的および人的評価は、イベント推論においてEvITが競合性能を達成することを示す。

関連論文リスト

• OpenEP: Open-Ended Future Event Prediction [57.63525290892786]
  我々はOpenEP(Open-Ended Future Event Prediction Task)を導入し、現実のシナリオに合わせたフレキシブルで多様な予測を生成する。 質問構築には、場所、時間、イベント開発、イベント結果、イベント影響、イベント応答など、7つの視点から質問する。 結果構築のために,結果を含む自由形式のテキストを基礎的真理として収集し,意味論的に完全かつ詳細に富んだ結果を提供する。
  論文  参考訳（メタデータ） (2024-08-13T02:35:54Z)
• MAVEN-Fact: A Large-scale Event Factuality Detection Dataset [55.01875707021496]
  我々は,MAVENデータセットに基づく大規模かつ高品質なEFDデータセットであるMAVEN-Factを紹介する。 MAVEN-Factには112,276のイベントのファクトリティアノテーションが含まれており、EFDデータセットとしては最大である。 MAVEN-Factは従来の微調整モデルと大規模言語モデル(LLM)の両方において困難であることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-07-22T03:43:46Z)
• Prompt-based Graph Model for Joint Liberal Event Extraction and Event Schema Induction [1.3154296174423619]
  イベントは、エンティティの状態の変化を記述する、スピーチとテキストの不可欠なコンポーネントである。 イベント抽出タスクは、イベントを特定して分類し、イベントスキーマに従って参加者を見つけることを目的としている。 研究者らは、イベント抽出とイベントスキーマの同時発見を目的とした、リベラルイベント抽出(LEE)を提案する。
  論文  参考訳（メタデータ） (2024-03-19T07:56:42Z)
• Enhancing Event Causality Identification with Rationale and Structure-Aware Causal Question Answering [30.000134835133522]
  事象因果同定(DECI)は、文書中の2つの事象間の因果関係を特定することを目的としている。 近年の研究では、事前訓練された言語モデルを用いて事象因果関係を生成する傾向にある。 本稿では,合理的かつ構造を考慮した因果的質問応答による事象因果同定を強化するためのマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:41:58Z)
• Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
  ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。 イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
  論文  参考訳（メタデータ） (2024-03-05T01:46:50Z)
• Event Causality Extraction with Event Argument Correlations [13.403222002600558]
  Event Causality extractは、プレーンテキストから因果関係のイベント因果関係のペアを抽出することを目的としている。 本稿では,ECE の時間内および時間内引数相関を捉えるための二重グリッドタギング方式を提案する。
  論文  参考訳（メタデータ） (2023-01-27T09:48:31Z)
• EA$^2$E: Improving Consistency with Event Awareness for Document-Level Argument Extraction [52.43978926985928]
  本稿では、トレーニングと推論のための拡張コンテキストを備えたイベント・アウェア・引数抽出(EA$2$E)モデルを紹介する。 WIKIEVENTSとACE2005データセットの実験結果から,EA$2$Eの有効性が示された。
  論文  参考訳（メタデータ） (2022-05-30T04:33:51Z)
• ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer for Event-Centric Generation and Classification [74.6318379374801]
  本稿では,イベント中心推論のための一般相関対応コンテキスト・イベント変換器(ClarET)の事前学習を提案する。 提案されたClarETは、幅広いイベント中心の推論シナリオに適用できる。
  論文  参考訳（メタデータ） (2022-03-04T10:11:15Z)
• CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
  視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。 我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。 実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-13T17:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。