論文の概要: One Small and One Large for Document-level Event Argument Extraction

• arxiv url: http://arxiv.org/abs/2411.05895v1
• Date: Fri, 08 Nov 2024 14:44:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:10:27.215417
• Title: One Small and One Large for Document-level Event Argument Extraction
• Title（参考訳）: 文書レベルのイベント調停抽出のための小型と大型の1つ
• Authors: Jiaren Peng, Hongda Sun, Wenzhong Yang, Fuyuan Wei, Liang He, Liejun Wang,
• Abstract要約: 文書レベルのイベント引数抽出(EAE)は、入力長の増加による2つの課題に直面する。 小言語モデル(SLM)に基づくCsEAE(CoおよびStructure Event Argument extract model) 第二の方法は、抽出タスクを大規模言語モデル(LLM)に適した生成タスクに変換する新しいプロンプトを導入する
• 参考スコア（独自算出の注目度）: 13.25071868664492
• License:
• Abstract: Document-level Event Argument Extraction (EAE) faces two challenges due to increased input length: 1) difficulty in distinguishing semantic boundaries between events, and 2) interference from redundant information. To address these issues, we propose two methods. The first method introduces the Co and Structure Event Argument Extraction model (CsEAE) based on Small Language Models (SLMs). CsEAE includes a co-occurrences-aware module, which integrates information about all events present in the current input through context labeling and co-occurrences event prompts extraction. Additionally, CsEAE includes a structure-aware module that reduces interference from redundant information by establishing structural relationships between the sentence containing the trigger and other sentences in the document. The second method introduces new prompts to transform the extraction task into a generative task suitable for Large Language Models (LLMs), addressing gaps in EAE performance using LLMs under Supervised Fine-Tuning (SFT) conditions. We also fine-tuned multiple datasets to develop an LLM that performs better across most datasets. Finally, we applied insights from CsEAE to LLMs, achieving further performance improvements. This suggests that reliable insights validated on SLMs are also applicable to LLMs. We tested our models on the Rams, WikiEvents, and MLEE datasets. The CsEAE model achieved improvements of 2.1\%, 2.3\%, and 3.2\% in the Arg-C F1 metric compared to the baseline, PAIE~\cite{PAIE}. For LLMs, we demonstrated that their performance on document-level datasets is comparable to that of SLMs~\footnote{All code is available at https://github.com/simon-p-j-r/CsEAE}.
• Abstract（参考訳）: 文書レベルのイベント引数抽出(EAE)は、入力長の増加による2つの課題に直面します。 1)イベント間の意味境界の識別が困難であること、及び 2)冗長な情報からの干渉。 これらの問題に対処するために,我々は2つの方法を提案する。 最初の方法は、小言語モデル(SLM)に基づくCoとStructure Event Argument extract Model (CsEAE)を導入することである。 CsEAEには共起認識モジュールが含まれており、コンテクストラベル付けと共起イベントプロンプト抽出を通じて、現在の入力に存在するすべてのイベントに関する情報を統合する。 さらに、CsEAEは、ドキュメント内のトリガを含む文と他の文の間の構造的関係を確立することにより、冗長情報からの干渉を低減する構造認識モジュールを含む。 第2の方法は,Large Language Models (LLM) に適した生成タスクに抽出タスクを変換する新たなプロンプトを導入し,SFT(Supervised Fine-Tuning)条件下でのLLMを用いたAE性能のギャップに対処する。 また、複数のデータセットを微調整して、ほとんどのデータセットでより良いパフォーマンスを実現するLLMを開発しました。 最後に, CsEAE から LLM への洞察を適用し,さらなる性能向上を実現した。 このことは、SLM上で検証された信頼性の高い洞察がLLMにも適用可能であることを示唆している。 私たちはRams、WikiEvents、MLEEデータセットでモデルをテストしました。 CsEAEモデルは、ベースラインであるPAIE~\cite{PAIE}と比較して、Arg-C F1の2.1\%、2.3\%、および3.2\%の改善を達成した。 LLMでは、ドキュメントレベルのデータセットのパフォーマンスが、SLMs~\footnote{Allコードと同等であることを示した。

関連論文リスト

• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• EE-MLLM: A Data-Efficient and Compute-Efficient Multimodal Large Language Model [14.767055057048855]
  データ効率・計算効率・マルチモーダル大言語モデル(EE-MLLM)について紹介する。 EE-MLLMは、追加モジュールや学習可能なパラメータを導入することなく、データと計算効率の両方を達成する。 実験により,EE-MLLMのベンチマークにおける有効性を示した。
  論文  参考訳（メタデータ） (2024-08-21T17:36:37Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Learning to Reduce: Towards Improving Performance of Large Language Models on Structured Data [39.29778853025738]
  大規模言語モデル(LLM)は、幅広い下流タスクにおいて有能なパフォーマンスを実現している。 本稿では、オン・ポリシー・ラーニングを用いて言語モデルを微調整し、入力された構造化データの縮小版を生成するフレームワークであるLearning to Reduceを提案する。
  論文  参考訳（メタデータ） (2024-07-03T01:51:50Z)
• Synergetic Event Understanding: A Collaborative Approach to Cross-Document Event Coreference Resolution with Large Language Models [41.524192769406945]
  クロスドキュメントイベントコア参照解決(CDECR)では、複数のドキュメントにまたがって、同じ実世界のイベントを参照するイベントをクラスタリングする。 既存のアプローチでは、イベント参照のコンテキスト間の互換性に対処するために、小さな言語モデル(SLM)の微調整を利用している。 本稿では,CDECR の協調的アプローチを提案し,汎用性のある LLM とタスク固有の SLM の両機能を活用している。
  論文  参考訳（メタデータ） (2024-06-04T09:35:47Z)
• Beyond Single-Event Extraction: Towards Efficient Document-Level Multi-Event Argument Extraction [19.51890490853855]
  複数項目の引数抽出モデルDEEIAを提案する。 ドキュメント内のすべてのイベントから引数を同時に抽出することができる。 提案手法は,4つの公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-03T07:04:35Z)
• GenEARL: A Training-Free Generative Framework for Multimodal Event Argument Role Labeling [89.07386210297373]
  GenEARLは、イベントタスク記述を理解するために近代的な生成モデルの力を利用する、トレーニング不要な生成フレームワークである。 GenEARLは、M2E2データセットとSwiGデータセット上のゼロショットEARLに対して、CLIPベースラインを9.4%、精度14.2%で上回っている。
  論文  参考訳（メタデータ） (2024-04-07T00:28:13Z)
• ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Refinement [6.39480325103865]
  イベント引数抽出(EAE)は、あるイベントのロール固有のテキストスパン(例えば、引数)を特定するタスクである。 本稿では,イベントの議論をよりコスト効率よく抽出する階層的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:13:28Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。