論文の概要: MAVEN-Fact: A Large-scale Event Factuality Detection Dataset
- arxiv url: http://arxiv.org/abs/2407.15352v1
- Date: Mon, 22 Jul 2024 03:43:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 16:20:27.985400
- Title: MAVEN-Fact: A Large-scale Event Factuality Detection Dataset
- Title（参考訳）: MAVEN-Fact: 大規模イベントファクチュアリティ検出データセット
- Authors: Chunyang Li, Hao Peng, Xiaozhi Wang, Yunjia Qi, Lei Hou, Bin Xu, Juanzi Li,
- Abstract要約: 我々は,MAVENデータセットに基づく大規模かつ高品質なEFDデータセットであるMAVEN-Factを紹介する。
MAVEN-Factには112,276のイベントのファクトリティアノテーションが含まれており、EFDデータセットとしては最大である。
MAVEN-Factは従来の微調整モデルと大規模言語モデル(LLM)の両方において困難であることを示す実験結果が得られた。
- 参考スコア（独自算出の注目度）: 55.01875707021496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event Factuality Detection (EFD) task determines the factuality of textual events, i.e., classifying whether an event is a fact, possibility, or impossibility, which is essential for faithfully understanding and utilizing event knowledge. However, due to the lack of high-quality large-scale data, event factuality detection is under-explored in event understanding research, which limits the development of EFD community. To address these issues and provide faithful event understanding, we introduce MAVEN-Fact, a large-scale and high-quality EFD dataset based on the MAVEN dataset. MAVEN-Fact includes factuality annotations of 112,276 events, making it the largest EFD dataset. Extensive experiments demonstrate that MAVEN-Fact is challenging for both conventional fine-tuned models and large language models (LLMs). Thanks to the comprehensive annotations of event arguments and relations in MAVEN, MAVEN-Fact also supports some further analyses and we find that adopting event arguments and relations helps in event factuality detection for fine-tuned models but does not benefit LLMs. Furthermore, we preliminarily study an application case of event factuality detection and find it helps in mitigating event-related hallucination in LLMs. Our dataset and codes can be obtained from \url{https://github.com/lcy2723/MAVEN-FACT}
- Abstract（参考訳）: イベントファクチュアリティ検出(EFD)タスクは、イベントが事実、可能性、あるいは不可能であるかどうかを分類し、イベント知識を忠実に理解し活用するために不可欠である。
しかし、高品質な大規模データが不足しているため、事象の事実検出はイベント理解研究において過小評価され、EFDコミュニティの発展を制限している。
これらの問題に対処し、忠実なイベント理解を提供するために、MAVENデータセットに基づいた大規模かつ高品質なEFDデータセットであるMAVEN-Factを導入する。
MAVEN-Factには112,276のイベントのファクトリティアノテーションが含まれており、EFDデータセットとしては最大である。
大規模な実験により、MAVEN-Factは従来の微調整モデルと大規模言語モデル(LLM)の両方において困難であることが示されている。
MAVEN-Factは,MAVENにおけるイベント引数と関係の包括的なアノテーションにより,さらなる分析もサポートしている。
さらに, 事象事実検出の応用事例を予備研究し, LLMにおける事象関連幻覚の緩和に有効であることを示す。
我々のデータセットとコードは \url{https://github.com/lcy2723/MAVEN-FACT} から取得できる。
関連論文リスト
- Enhancing Event Reasoning in Large Language Models through Instruction Fine-Tuning with Semantic Causal Graphs [7.9482258228279195]
イベント検出のための命令微調整LDMに対する新しいアプローチを提案する。
本手法ではセマンティック因果グラフ(SCG)を導入し,テキスト内の因果関係と文脈情報の両方を抽出する。
評価の結果,SCG 命令を用いた LLM の訓練は,イベントトリガー分類において,平均35.69% の精度で標準命令の微調整に優れていた。
論文 参考訳（メタデータ） (2024-08-30T18:56:06Z) - Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。
イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
論文 参考訳（メタデータ） (2024-03-05T01:46:50Z) - MAVEN-Arg: Completing the Puzzle of All-in-One Event Understanding Dataset with Event Argument Annotation [104.6065882758648]
MAVEN-Argは、イベント検出、イベント引数抽出、イベント関係抽出をサポートする最初のオールインワンデータセットである。
EAEベンチマークでは、(1)162のイベントタイプと612の引数ロールをカバーする包括的なスキーマ、(2)98,591のイベントと290,613の引数を含む大規模なデータスケール、(3)EAEのすべてのタスク変種をサポートする包括的なアノテーションの3つの利点がある。
論文 参考訳（メタデータ） (2023-11-15T16:52:14Z) - Abnormal Event Detection via Hypergraph Contrastive Learning [54.80429341415227]
異常事象検出は多くの実アプリケーションにおいて重要な役割を果たす。
本稿では,分散異種情報ネットワークにおける異常事象検出問題について検討する。
AEHCLと呼ばれる新しいハイパーグラフコントラスト学習法が,異常事象のパターンをフルに捉えるために提案されている。
論文 参考訳（メタデータ） (2023-04-02T08:23:20Z) - Event Causality Extraction with Event Argument Correlations [13.403222002600558]
Event Causality extractは、プレーンテキストから因果関係のイベント因果関係のペアを抽出することを目的としている。
本稿では,ECE の時間内および時間内引数相関を捉えるための二重グリッドタギング方式を提案する。
論文 参考訳（メタデータ） (2023-01-27T09:48:31Z) - Causal Knowledge Guided Societal Event Forecasting [24.437437565689393]
本稿では,因果効果推定をイベント予測に組み込むディープラーニングフレームワークを提案する。
機能再重み付けモジュールと近似損失を含む2つの頑健な学習モジュールを導入し、事前の知識注入を可能にする。
論文 参考訳（メタデータ） (2021-12-10T17:41:02Z) - Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。
我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
論文 参考訳（メタデータ） (2021-09-13T20:50:37Z) - MAVEN: A Massive General Domain Event Detection Dataset [56.00401399384715]
イベント検出(ED)は、プレーンテキストからイベント知識を抽出する最初の、最も基本的なステップである。
既存のデータセットは、EDのさらなる開発を制限する問題を示す。
我々は,4,480のウィキペディア文書,118,732のイベント参照インスタンス,168のイベントタイプを含むMAVEN(Massive eVENt detection dataset)を提案する。
論文 参考訳（メタデータ） (2020-04-28T15:25:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。