論文の概要: GDLLM: A Global Distance-aware Modeling Approach Based on Large Language Models for Event Temporal Relation Extraction

• arxiv url: http://arxiv.org/abs/2508.20828v1
• Date: Thu, 28 Aug 2025 14:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.447367
• Title: GDLLM: A Global Distance-aware Modeling Approach Based on Large Language Models for Event Temporal Relation Extraction
• Title（参考訳）: GDLLM:イベント時間関係抽出のための大規模言語モデルに基づくグローバル距離認識モデリング手法
• Authors: Jie Zhao, Wanting Ning, Yuxiao Fei, Yubo Feng, Lishuang Li,
• Abstract要約: 大規模言語モデルに基づくグローバル距離対応モデリング手法を提案する。 まず,グラフ注意ネットワーク(GAT)を用いた距離対応グラフ構造を用いて,LLMの長距離依存性特性の把握を支援する。 我々は,短距離近接帯域との相関関係の同定を強化するために,ソフト推論に基づく時間的特徴学習パラダイムを設計する。
• 参考スコア（独自算出の注目度）: 4.6155886966345285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Natural Language Processing(NLP), Event Temporal Relation Extraction (ETRE) is to recognize the temporal relations of two events. Prior studies have noted the importance of language models for ETRE. However, the restricted pre-trained knowledge of Small Language Models(SLMs) limits their capability to handle minority class relations in imbalanced classification datasets. For Large Language Models(LLMs), researchers adopt manually designed prompts or instructions, which may introduce extra noise, leading to interference with the model's judgment of the long-distance dependencies between events. To address these issues, we propose GDLLM, a Global Distance-aware modeling approach based on LLMs. We first present a distance-aware graph structure utilizing Graph Attention Network(GAT) to assist the LLMs in capturing long-distance dependency features. Additionally, we design a temporal feature learning paradigm based on soft inference to augment the identification of relations with a short-distance proximity band, which supplements the probabilistic information generated by LLMs into the multi-head attention mechanism. Since the global feature can be captured effectively, our framework substantially enhances the performance of minority relation classes and improves the overall learning ability. Experiments on two publicly available datasets, TB-Dense and MATRES, demonstrate that our approach achieves state-of-the-art (SOTA) performance.
• Abstract（参考訳）: 自然言語処理(NLP)では、事象時間関係抽出(ETRE)は2つの事象の時間的関係を認識する。 以前の研究では、ETREにおける言語モデルの重要性が指摘されていた。 しかし、SLM(Small Language Models)の制限された事前訓練された知識は、不均衡な分類データセットにおけるマイノリティなクラス関係を扱う能力を制限する。 LLM(Large Language Models)では、研究者が手動で設計したプロンプトや命令を採用することで、余分なノイズが発生する可能性がある。 これらの問題に対処するために,LLMに基づくGlobal Distance-Aware ModelingアプローチであるGDLLMを提案する。 まず,グラフ注意ネットワーク(GAT)を用いた距離対応グラフ構造を用いて,LLMの長距離依存性特性の把握を支援する。 さらに,LLMが生成する確率情報をマルチヘッドアテンション機構に補完する短距離近接帯域との相関関係の同定を強化するために,ソフト推論に基づく時間的特徴学習パラダイムを設計する。 グローバルな特徴を効果的に捉えられるので、我々のフレームワークはマイノリティ関係クラスの性能を大幅に向上させ、全体的な学習能力を向上させる。 TB-DenseとMATRESという2つの公開データセットの実験により、我々のアプローチがSOTA(State-of-the-art)のパフォーマンスを達成することを示す。

関連論文リスト

• Integrate Temporal Graph Learning into LLM-based Temporal Knowledge Graph Model [48.15492235240126]
  時間的知識グラフ予測は、歴史における観測された事象に基づいて将来の事象を予測することを目的としている。 既存の手法では、検索した歴史的事実や静的グラフ表現をLarge Language Models (LLMs)に統合している。 LLMに基づく時間知識グラフモデルに時間グラフ学習を統合するための新しいフレームワークTGL-LLMを提案する。
  論文  参考訳（メタデータ） (2025-01-21T06:12:49Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Are LLMs Good Annotators for Discourse-level Event Relation Extraction? [15.365993658296016]
  談話レベルの事象関係抽出タスクにおけるLarge Language Models (LLMs) の有効性を評価する。 商用モデル GPT-3.5 とオープンソースモデル LLaMA-2 を用いて評価を行った。
  論文  参考訳（メタデータ） (2024-07-28T19:27:06Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction [33.528688487954454]
  関係抽出(RE)は、テキスト内のエンティティ間の意味的関係を識別することを目的としている。 アノテーションの要求を減らすことを目的とした、ほとんどショットの学習は、通常、ターゲット関係に対する不完全で偏見のある監視を提供する。 1)大言語モデル(LLM)を利用して,関係定義とラベルなしコーパスから初期シードインスタンスを生成する。
  論文  参考訳（メタデータ） (2024-02-17T00:20:06Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。