論文の概要: LEMONADE: A Large Multilingual Expert-Annotated Abstractive Event Dataset for the Real World

• arxiv url: http://arxiv.org/abs/2506.00980v1
• Date: Sun, 01 Jun 2025 12:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.696954
• Title: LEMONADE: A Large Multilingual Expert-Annotated Abstractive Event Dataset for the Real World
• Title（参考訳）: LEMONADE: 実世界向け多言語エキスパートアノテーション付き抽象イベントデータセット
• Authors: Sina J. Semnani, Pingyue Zhang, Wanyue Zhai, Haozhuo Li, Ryan Beauchamp, Trey Billing, Katayoun Kishi, Manling Li, Monica S. Lam,
• Abstract要約: 本稿では,20言語と171カ国にわたる39,786のイベントからなる大規模コンフリクトイベントデータセットLEMONADEを提案する。 本稿では,抽象イベント抽出(AEE)とそのサブタスク,抽象エンティティリンク(AEL)を紹介する。 我々はこれらのタスク上で様々な大規模言語モデル(LLM)を評価し、既存のゼロショットイベント抽出システムに適応し、ベンチマーク教師付きモデルを構築した。
• 参考スコア（独自算出の注目度）: 15.910533768323132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents LEMONADE, a large-scale conflict event dataset comprising 39,786 events across 20 languages and 171 countries, with extensive coverage of region-specific entities. LEMONADE is based on a partially reannotated subset of the Armed Conflict Location & Event Data (ACLED), which has documented global conflict events for over a decade. To address the challenge of aggregating multilingual sources for global event analysis, we introduce abstractive event extraction (AEE) and its subtask, abstractive entity linking (AEL). Unlike conventional span-based event extraction, our approach detects event arguments and entities through holistic document understanding and normalizes them across the multilingual dataset. We evaluate various large language models (LLMs) on these tasks, adapt existing zero-shot event extraction systems, and benchmark supervised models. Additionally, we introduce ZEST, a novel zero-shot retrieval-based system for AEL. Our best zero-shot system achieves an end-to-end F1 score of 58.3%, with LLMs outperforming specialized event extraction models such as GoLLIE. For entity linking, ZEST achieves an F1 score of 45.7%, significantly surpassing OneNet, a state-of-the-art zero-shot baseline that achieves only 23.7%. However, these zero-shot results lag behind the best supervised systems by 20.1% and 37.0% in the end-to-end and AEL tasks, respectively, highlighting the need for further research.
• Abstract（参考訳）: 本稿では,20言語と171カ国にわたる39,786のイベントからなる大規模コンフリクトイベントデータセットLEMONADEについて述べる。 LEMONADEはArmed Conflict Location & Event Data (ACLED)の部分的に再注釈されたサブセットに基づいている。 グローバルイベント分析のための多言語ソースの集約という課題に対処するために,抽象イベント抽出(AEE)とそのサブタスク,抽象エンティティリンク(AEL)を紹介する。 従来のスパンベースのイベント抽出とは違い,本手法は汎用的な文書理解を通じてイベント引数やエンティティを検出し,多言語データセット全体にわたって正規化する。 我々はこれらのタスク上で様々な大規模言語モデル(LLM)を評価し、既存のゼロショットイベント抽出システムに適応し、ベンチマーク教師付きモデルを構築した。 さらに,新たなゼロショット検索システムであるZESTを導入する。 我々の最良ゼロショットシステムは、エンドツーエンドのF1スコア58.3%を達成し、LLMはGoLLIEのような特別なイベント抽出モデルよりも優れています。 エンティティリンクでは、ZESTはF1スコアが45.7%に達し、最先端のゼロショットベースラインであるOneNetをはるかに上回っている。 しかし、これらのゼロショットの結果は、エンド・ツー・エンドのタスクでは20.1%、37.0%遅れており、さらなる研究の必要性が浮き彫りになっている。

関連論文リスト

• GeMQuAD : Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learning [4.8838210812204235]
  本稿では,対象言語に1つの例があるICLを用いて生成されたデータセットに対して,半教師付き学習手法であるGeMQuADを提案する。 我々は、特に低リソースの多言語設定において、モデル性能を向上させるために、高品質なデータを反復的に識別する。 我々のフレームワークは、ヒンディー語で0.22/1.68 F1/EMポイント、MLQAデータセットでスペイン語で0.82/1.37 F1/EMポイントで機械翻訳拡張モデルより優れています。
  論文  参考訳（メタデータ） (2024-04-14T06:55:42Z)
• Zero-Shot Cross-Lingual Document-Level Event Causality Identification with Heterogeneous Graph Contrastive Transfer Learning [22.389718537939174]
  事象因果同定(英: Event Causality Identification、ECI)とは、テキスト中の事象間の因果関係を検出すること。 文書レベルのECIのための多粒性コントラスト変換学習(GIMC)を用いた異種グラフ相互作用モデルを提案する。 筆者らのフレームワークは, 単言語および多言語シナリオの平均F1スコアの9.4%と8.2%で, 従来の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-03-05T11:57:21Z)
• MAVEN-Arg: Completing the Puzzle of All-in-One Event Understanding Dataset with Event Argument Annotation [104.6065882758648]
  MAVEN-Argは、イベント検出、イベント引数抽出、イベント関係抽出をサポートする最初のオールインワンデータセットである。 EAEベンチマークでは、(1)162のイベントタイプと612の引数ロールをカバーする包括的なスキーマ、(2)98,591のイベントと290,613の引数を含む大規模なデータスケール、(3)EAEのすべてのタスク変種をサポートする包括的なアノテーションの3つの利点がある。
  論文  参考訳（メタデータ） (2023-11-15T16:52:14Z)
• An Open Dataset and Model for Language Identification [84.15194457400253]
  マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。 モデルとデータセットの両方を研究コミュニティに公開しています。
  論文  参考訳（メタデータ） (2023-05-23T08:43:42Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• GLEN: General-Purpose Event Detection for Thousands of Types [80.99866527772512]
  汎用的なイベント検出データセットGLENを構築し、205Kイベントの参照を3,465種類の異なるタイプでカバーしています。 GLENはオントロジーにおいて、今日の最大のイベントデータセットよりも20倍大きい。 また,GLENの大規模化に特化して設計された多段階イベント検出モデルCEDARを提案する。
  論文  参考訳（メタデータ） (2023-03-16T05:36:38Z)
• GENEVA: Benchmarking Generalizability for Event Argument Extraction with Hundreds of Event Types and Argument Roles [77.05288144035056]
  Event Argument extract (EAE)は、新しいイベントやドメインに対応するためのモデルの一般化性の改善に重点を置いている。 ACEやEREといった標準的なベンチマークデータセットは、40のイベントタイプと25のエンティティ中心の引数ロールをカバーする。
  論文  参考訳（メタデータ） (2022-05-25T05:46:28Z)
• Document-Level Event Argument Extraction by Conditional Generation [75.73327502536938]
  イベント抽出は、長い間IEコミュニティで文レベルのタスクとして扱われてきた。 タスクを条件生成型イベントテンプレートとして定式化することで,ドキュメントレベルのニューラルイベント引数抽出モデルを提案する。 また、新しいドキュメントレベルのイベント抽出ベンチマークデータセットWikiEventsもコンパイルします。
  論文  参考訳（メタデータ） (2021-04-13T03:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。