論文の概要: Enhancing Event Reasoning in Large Language Models through Instruction Fine-Tuning with Semantic Causal Graphs

• arxiv url: http://arxiv.org/abs/2409.00209v1
• Date: Fri, 30 Aug 2024 18:56:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 16:18:34.042508
• Title: Enhancing Event Reasoning in Large Language Models through Instruction Fine-Tuning with Semantic Causal Graphs
• Title（参考訳）: 意味的因果グラフを用いたインストラクションファインタニングによる大規模言語モデルにおけるイベント推論の強化
• Authors: Mazal Bethany, Emet Bethany, Brandon Wherry, Cho-Yu Chiang, Nishant Vishwamitra, Anthony Rios, Peyman Najafirad,
• Abstract要約: イベント検出のための命令微調整LDMに対する新しいアプローチを提案する。 本手法ではセマンティック因果グラフ(SCG)を導入し,テキスト内の因果関係と文脈情報の両方を抽出する。 評価の結果,SCG 命令を用いた LLM の訓練は,イベントトリガー分類において,平均35.69% の精度で標準命令の微調整に優れていた。
• 参考スコア（独自算出の注目度）: 7.9482258228279195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event detection and text reasoning have become critical applications across various domains. While LLMs have recently demonstrated impressive progress in reasoning abilities, they often struggle with event detection, particularly due to the absence of training methods that consider causal relationships between event triggers and types. To address this challenge, we propose a novel approach for instruction fine-tuning LLMs for event detection. Our method introduces Semantic Causal Graphs (SCGs) to capture both causal relationships and contextual information within text. Building off of SCGs, we propose SCG Instructions for fine-tuning LLMs by focusing on event triggers and their relationships to event types, and employ Low-Rank Adaptation (LoRA) to help preserve the general reasoning abilities of LLMs. Our evaluations demonstrate that training LLMs with SCG Instructions outperforms standard instruction fine-tuning by an average of 35.69\% on Event Trigger Classification. Notably, our fine-tuned Mistral 7B model also outperforms GPT-4 on key event detection metrics by an average of 31.01\% on Event Trigger Identification, 37.40\% on Event Trigger Classification, and 16.43\% on Event Classification. We analyze the retention of general capabilities, observing only a minimal average drop of 2.03 points across six benchmarks. This comprehensive study investigates multiple LLMs for the event detection task across various datasets, prompting strategies, and training approaches.
• Abstract（参考訳）: イベント検出とテキスト推論は、さまざまな領域にわたる重要な応用となっている。 LLMは近年、推論能力の顕著な進歩を見せているが、特にイベントトリガーとタイプ間の因果関係を考慮したトレーニング方法が欠如しているため、イベント検出に苦慮することが多い。 この課題に対処するために、イベント検出のための命令微調整LDMの新しいアプローチを提案する。 本手法ではセマンティック因果グラフ(SCG)を導入し,テキスト内の因果関係と文脈情報の両方を抽出する。 イベントトリガとイベントタイプとの関係に着目した微調整LDMのためのSCG命令を提案し,Low-Rank Adaptation (LoRA) を用いてLCMの一般的な推論能力の維持を支援する。 評価の結果,SCG 命令を用いた LLM の訓練は,イベントトリガー分類において,平均35.69 % の精度で標準命令の微調整よりも優れていた。 特に、当社の微調整Mistral 7Bモデルは、イベントトリガー識別の平均31.01\%、イベントトリガー分類37.40\%、イベント分類16.43\%でGPT-4を上回ります。 6つのベンチマークで平均2.03ポイントの最小値しか得られない。 本研究は,各種データセットにまたがる事象検出タスクにおいて,複数のLSMを探索し,学習戦略,訓練アプローチについて検討する。

関連論文リスト

• MAVEN-Fact: A Large-scale Event Factuality Detection Dataset [55.01875707021496]
  我々は,MAVENデータセットに基づく大規模かつ高品質なEFDデータセットであるMAVEN-Factを紹介する。 MAVEN-Factには112,276のイベントのファクトリティアノテーションが含まれており、EFDデータセットとしては最大である。 MAVEN-Factは従来の微調整モデルと大規模言語モデル(LLM)の両方において困難であることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-07-22T03:43:46Z)
• Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
  大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。 我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-03T14:39:20Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Zero- and Few-Shot Event Detection via Prompt-Based Meta Learning [45.3385722995475]
  ゼロおよび少数ショットイベント検出のためのメタ学習ベースのフレームワークであるMetaEventを提案する。 本フレームワークでは,クローゼをベースとしたプロンプトとトリガ対応ソフトを用いて,未知のイベントタイプに効率的に出力を投影する手法を提案する。 そのため、提案されたMetaEventは、事前の知識なしに、機能とイベントタイプをマッピングすることで、ゼロショットイベント検出を実行することができる。
  論文  参考訳（メタデータ） (2023-05-27T05:36:46Z)
• EDM3: Event Detection as Multi-task Text Generation [18.757555373659194]
  イベント検出(英: Event detection)とは、テキスト中の事象を識別することである。 本稿では3つの生成タスクを定式化するイベント検出の新しい手法であるEDM3を提案する。 EDM3はイベント検出とそのサブタスクを同時に実行するために活用できる伝達可能な知識の学習を支援する。
  論文  参考訳（メタデータ） (2023-05-25T06:25:16Z)
• ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer for Event-Centric Generation and Classification [74.6318379374801]
  本稿では,イベント中心推論のための一般相関対応コンテキスト・イベント変換器(ClarET)の事前学習を提案する。 提案されたClarETは、幅広いイベント中心の推論シナリオに適用できる。
  論文  参考訳（メタデータ） (2022-03-04T10:11:15Z)
• PILED: An Identify-and-Localize Framework for Few-Shot Event Detection [79.66042333016478]
  本研究では,事前学習した言語モデルから事象関連知識を引き出すために,クローゼプロンプトを用いた。 型固有のパラメータの数を最小化し、新しい型に対するイベント検出タスクに迅速に適応できるようにします。
  論文  参考訳（メタデータ） (2022-02-15T18:01:39Z)
• Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
  本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。 我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
  論文  参考訳（メタデータ） (2021-09-13T20:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。