論文の概要: Towards Event Extraction with Massive Types: LLM-based Collaborative Annotation and Partitioning Extraction

• arxiv url: http://arxiv.org/abs/2503.02628v1
• Date: Tue, 04 Mar 2025 13:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:02.170422
• Title: Towards Event Extraction with Massive Types: LLM-based Collaborative Annotation and Partitioning Extraction
• Title（参考訳）: 大規模型によるイベント抽出に向けて:LLMに基づく協調アノテーションと分割抽出
• Authors: Wenxuan Liu, Zixuan Li, Long Bai, Yuxin Zuo, Daozhu Xu, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: 大規模言語モデル(LLM)に基づく協調アノテーション手法を提案する。 また, LLM-PEE と呼ばれる LLM-based Partitioning EE 法を提案する。 その結果,LLM-PEEは事象検出では5.4,引数抽出では6.1,最先端手法では6.1に優れていた。
• 参考スコア（独自算出の注目度）: 66.73721939417507
• License:
• Abstract: Developing a general-purpose extraction system that can extract events with massive types is a long-standing target in Event Extraction (EE). In doing so, the challenge comes from two aspects: 1) The absence of an efficient and effective annotation method. 2) The absence of a powerful extraction method can handle massive types. For the first challenge, we propose a collaborative annotation method based on Large Language Models (LLMs). Through collaboration among multiple LLMs, it first refines annotations of trigger words from distant supervision and then carries out argument annotation. Next, a voting phase consolidates the annotation preferences across different LLMs. Finally, we create the EEMT dataset, the largest EE dataset to date, featuring over 200,000 samples, 3,465 event types, and 6,297 role types. For the second challenge, we propose an LLM-based Partitioning EE method called LLM-PEE. To overcome the limited context length of LLMs, LLM-PEE first recalls candidate event types and then splits them into multiple partitions for LLMs to extract events. The results in the supervised setting show that LLM-PEE outperforms the state-of-the-art methods by 5.4 in event detection and 6.1 in argument extraction. In the zero-shot setting, LLM-PEE achieves up to 12.9 improvement compared to mainstream LLMs, demonstrating its strong generalization capabilities.
• Abstract（参考訳）: 大規模型でイベントを抽出できる汎用抽出システムの開発は、イベント抽出(EE)における長年の目標である。 そうすることで、課題は2つの側面から生じます。 1)効率的かつ効果的なアノテーション手法が存在しないこと。 2) 強力な抽出方法が存在しないことにより, 大規模型を扱える。 まず,Large Language Models (LLM) に基づく協調アノテーション手法を提案する。 複数のLLM間の協調を通して、まず遠方の監督から引き起こされる単語のアノテーションを洗練し、その後、引数アノテーションを実行する。 次に、投票フェーズは、異なるLLM間でアノテーションの嗜好を集約する。 最後に、20万以上のサンプル、3,465のイベントタイプ、6,297のロールタイプを含む、これまでで最大のEEデータセットであるEEMTデータセットを作成します。 2つ目の課題として, LLM-PEE と呼ばれる LLM-based Partitioning EE 法を提案する。 LLMの限られたコンテキスト長を克服するため、LLM-PEEはまず候補イベントタイプをリコールし、LLMを複数のパーティションに分割してイベントを抽出する。 教師付き設定の結果、LLM-PEEは5.4のイベント検出、6.1の引数抽出で最先端の手法よりも優れていた。 ゼロショット設定では、LLM-PEEはメインストリームのLLMと比べて最大12.9の改善を実現し、その強力な一般化能力を示している。

関連論文リスト

• SpecFuse: Ensembling Large Language Models via Next-Segment Prediction [42.28242821924789]
  SpecFuseは、LCM間のコラボレーションを通じて次のセグメントを反復的に生成することで、融合結果を出力するアンサンブルフレームワークである。 上位のセグメントは全LLMに放送され、次のラウンドで高品質なセグメントを生成するように促される。 計算資源を保存するため,前回のラウンドで性能が劣るモデルを動的に排除するモデル出口機構を提案する。
  論文  参考訳（メタデータ） (2024-12-10T10:27:41Z)
• One Small and One Large for Document-level Event Argument Extraction [13.25071868664492]
  文書レベルのイベント引数抽出(EAE)は、入力長の増加による2つの課題に直面する。 小言語モデル(SLM)に基づくCsEAE(CoおよびStructure Event Argument extract model) 第二の方法は、抽出タスクを大規模言語モデル(LLM)に適した生成タスクに変換する新しいプロンプトを導入する
  論文  参考訳（メタデータ） (2024-11-08T14:44:01Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Generative Multimodal Entity Linking [24.322540112710918]
  MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。 既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。 大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。 当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
  論文  参考訳（メタデータ） (2023-06-22T07:57:19Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。