論文の概要: EventSum: A Large-Scale Event-Centric Summarization Dataset for Chinese Multi-News Documents

• arxiv url: http://arxiv.org/abs/2412.11814v1
• Date: Mon, 16 Dec 2024 14:29:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:28.186770
• Title: EventSum: A Large-Scale Event-Centric Summarization Dataset for Chinese Multi-News Documents
• Title（参考訳）: EventSum: 中国の複数ニュース文書を対象とした大規模イベント中心要約データセット
• Authors: Mengna Zhu, Kaisheng Zeng, Mao Wang, Kaiming Xiao, Lei Hou, Hongbin Huang, Juanzi Li,
• Abstract要約: イベント中心多文書要約(ECS)タスクは、複数の関連するニュース文書に基づいて、所定のイベントの簡潔で包括的な要約を生成することを目的としている。 EventSumデータセットを構築し,5,100件のイベントと57,984件のニュースドキュメントを含む。 我々は、イベントリコール、Argument Recall、Causal Recall、Temporal Recallなどの特定のメトリクスを、対応する計算方法とともに設計し、評価を行った。
• 参考スコア（独自算出の注目度）: 32.61252012805789
• License:
• Abstract: In real life, many dynamic events, such as major disasters and large-scale sports events, evolve continuously over time. Obtaining an overview of these events can help people quickly understand the situation and respond more effectively. This is challenging because the key information of the event is often scattered across multiple documents, involving complex event knowledge understanding and reasoning, which is under-explored in previous work. Therefore, we proposed the Event-Centric Multi-Document Summarization (ECS) task, which aims to generate concise and comprehensive summaries of a given event based on multiple related news documents. Based on this, we constructed the EventSum dataset, which was constructed using Baidu Baike entries and underwent extensive human annotation, to facilitate relevant research. It is the first large scale Chinese multi-document summarization dataset, containing 5,100 events and a total of 57,984 news documents, with an average of 11.4 input news documents and 13,471 characters per event. To ensure data quality and mitigate potential data leakage, we adopted a multi-stage annotation approach for manually labeling the test set. Given the complexity of event-related information, existing metrics struggle to comprehensively assess the quality of generated summaries. We designed specific metrics including Event Recall, Argument Recall, Causal Recall, and Temporal Recall along with corresponding calculation methods for evaluation. We conducted comprehensive experiments on EventSum to evaluate the performance of advanced long-context Large Language Models (LLMs) on this task. Our experimental results indicate that: 1) The event-centric multi-document summarization task remains challenging for existing long-context LLMs; 2) The recall metrics we designed are crucial for evaluating the comprehensiveness of the summary information.
• Abstract（参考訳）: 実生活では、大災害や大規模なスポーツイベントなど、多くの動的イベントが時間とともに継続的に進化する。 これらのイベントの概要を知ることは、状況を素早く理解し、より効果的に反応するのに役立ちます。 イベントの重要な情報は、複数のドキュメントに散らばっていることが多いため、複雑なイベント知識の理解と推論が伴うため、これは難しい。 そこで本稿では,複数の関連ニュース資料に基づいて,イベントの簡潔かつ包括的な要約を生成することを目的とした,イベント中心多文書要約(ECS)タスクを提案する。 そこで我々は,Baidu Baikeエントリを用いて構築したEventSumデータセットを構築した。 5100件のイベントと57,984件のニュースドキュメントがあり、平均して11.4件のニュースドキュメントと1件あたり13,471文字である。 データ品質の確保と潜在的なデータ漏洩の軽減を目的として,テストセットを手動でラベル付けするための多段階アノテーションアプローチを採用した。 イベント関連情報の複雑さを考えると、既存のメトリクスは生成された要約の品質を包括的に評価するのに苦労する。 我々は、イベントリコール、Argument Recall、Causal Recall、Temporal Recallなどの特定のメトリクスを、対応する計算方法とともに設計し、評価を行った。 我々はEventSumの総合的な実験を行い、このタスクにおける高度長文大言語モデル(LLM)の性能評価を行った。 実験の結果,以下のことが示唆された。 1) イベント中心の多文書要約作業は,既存の長文LLMでは依然として困難である。 2) 要約情報の包括性を評価するためには, 設計したリコール指標が不可欠である。

関連論文リスト

• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• MAVEN-Fact: A Large-scale Event Factuality Detection Dataset [55.01875707021496]
  我々は,MAVENデータセットに基づく大規模かつ高品質なEFDデータセットであるMAVEN-Factを紹介する。 MAVEN-Factには112,276のイベントのファクトリティアノテーションが含まれており、EFDデータセットとしては最大である。 MAVEN-Factは従来の微調整モデルと大規模言語モデル(LLM)の両方において困難であることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-07-22T03:43:46Z)
• Event-Keyed Summarization [46.521305453350635]
  イベントキーの要約(EKS)は、従来の要約と文書レベルのイベント抽出を結合する新しいタスクである。 本稿では,従来のMUC-4データセットのすべての事象を要約したMUCSUMというデータセットを提案する。 EKSを従来の要約や構造からテクストへの要約に還元するアブレーションは、ターゲットイベントの劣るサマリーをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-02-10T15:32:53Z)
• MAVEN-Arg: Completing the Puzzle of All-in-One Event Understanding Dataset with Event Argument Annotation [104.6065882758648]
  MAVEN-Argは、イベント検出、イベント引数抽出、イベント関係抽出をサポートする最初のオールインワンデータセットである。 EAEベンチマークでは、(1)162のイベントタイプと612の引数ロールをカバーする包括的なスキーマ、(2)98,591のイベントと290,613の引数を含む大規模なデータスケール、(3)EAEのすべてのタスク変種をサポートする包括的なアノテーションの3つの利点がある。
  論文  参考訳（メタデータ） (2023-11-15T16:52:14Z)
• Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
  同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。 この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。 データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
  論文  参考訳（メタデータ） (2023-09-17T20:28:17Z)
• Token-Event-Role Structure-based Multi-Channel Document-Level Event Extraction [15.02043375212839]
  本稿では,トークン・イベント・ロールと呼ばれる新しいデータ構造を取り入れた,文書レベルのイベント抽出のための新しいフレームワークを提案する。 提案したデータ構造により,複数のイベントにおけるトークンの主要な役割を明らかにすることができ,イベント関係のより包括的な理解が容易になる。 その結果,本手法はF1スコアの9.5ポイント向上した。
  論文  参考訳（メタデータ） (2023-06-30T15:22:57Z)
• MEE: A Novel Multilingual Event Extraction Dataset [62.80569691825534]
  Event extractは、イベント参照とその引数をテキストから認識することを目的としている。 モデルトレーニングと評価のための高品質な多言語EEデータセットの欠如が主な障害となっている。 本稿では,8言語で50万以上のイベントを参照するアノテーションを提供する新しい多言語イベント抽出データセット(EE)を提案する。
  論文  参考訳（メタデータ） (2022-11-11T02:01:41Z)
• Zero-Shot On-the-Fly Event Schema Induction [61.91468909200566]
  本稿では,大規模な言語モデルを用いて,高レベルなイベント定義,特定のイベント,引数,それらの関係を予測・付与するソースドキュメントを生成する手法を提案する。 我々のモデルを用いて、任意のトピックに関する完全なスキーマを、手動のデータ収集、すなわちゼロショットの方法で、オンザフライで生成することができる。
  論文  参考訳（メタデータ） (2022-10-12T14:37:00Z)
• Document-level Event Extraction with Efficient End-to-end Learning of Cross-event Dependencies [37.96254956540803]
  本稿では,構造化予測アルゴリズムであるDeep Value Networks (DVN) を利用したエンドツーエンドモデルを提案する。 提案手法はACE05上でのCRFモデルに匹敵する性能を達成し,計算効率は極めて高い。
  論文  参考訳（メタデータ） (2020-10-24T05:28:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。