論文の概要: LLM with Relation Classifier for Document-Level Relation Extraction

• arxiv url: http://arxiv.org/abs/2408.13889v1
• Date: Sun, 25 Aug 2024 16:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 15:32:15.809731
• Title: LLM with Relation Classifier for Document-Level Relation Extraction
• Title（参考訳）: 文書レベル関係抽出のための関係分類器付きLLM
• Authors: Xingzuo Li, Kehai Chen, Yunfei Long, Min Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理のための新しいパラダイムを作成する。 本稿では,この性能ギャップの原因を考察し,関係のないエンティティペアによるLCMによる注意の分散を主要因とする。 DocREベンチマーク実験により,本手法は最近のLCMベースのDocREモデルよりも大幅に優れており,従来のDocREモデルと競合する性能を実現していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 25.587850398830252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) create a new paradigm for natural language processing. Despite their advancement, LLM-based methods still lag behind traditional approaches in document-level relation extraction (DocRE), a critical task for understanding complex entity relations. This paper investigates the causes of this performance gap, identifying the dispersion of attention by LLMs due to entity pairs without relations as a primary factor. We then introduce a novel classifier-LLM approach to DocRE. The proposed approach begins with a classifier specifically designed to select entity pair candidates exhibiting potential relations and thereby feeds them to LLM for the final relation extraction. This method ensures that during inference, the LLM's focus is directed primarily at entity pairs with relations. Experiments on DocRE benchmarks reveal that our method significantly outperforms recent LLM-based DocRE models and achieves competitive performance with several leading traditional DocRE models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理のための新しいパラダイムを作成する。 それらの進歩にもかかわらず、LLMベースの手法は、複雑なエンティティ関係を理解するための重要なタスクであるドキュメントレベルの関係抽出(DocRE)において、従来のアプローチに遅れを取っている。 本稿では,この性能ギャップの原因を考察し,関係のないエンティティペアによるLCMによる注意の分散を主要因とする。 次にDocREに新しい分類器-LLMアプローチを導入する。 提案手法は、潜在的な関係を示すエンティティペア候補を選択的に選択し、最終関係抽出のためにLSMに供給する分類器から始まる。 この方法は、推論の間、LLMの焦点が主に関係を持つエンティティペアに向けられていることを保証します。 DocREベンチマーク実験の結果,本手法は最近のLCMベースのDocREモデルよりも大幅に優れており,従来のDocREモデルと競合する性能を実現していることがわかった。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Will LLMs Replace the Encoder-Only Models in Temporal Relation Classification? [2.1861408994125253]
  大規模言語モデル(LLM)は、最近、時間的推論タスクで有望なパフォーマンスを示した。 最近の研究は、閉ソースモデルのみの時間的関係を検出するためにLLMの性能を検証している。
  論文  参考訳（メタデータ） (2024-10-14T13:10:45Z)
• Enriching Ontologies with Disjointness Axioms using Large Language Models [5.355177558868206]
  大型モデル(LLM)は、クラス不整合公理を識別し、主張することで一貫性を提供する。 本研究の目的は,LLMに埋め込まれた暗黙の知識を活用して,存在論的不一致を分類することである。 以上の結果から, LLMは効果的なプロンプト戦略によって導かれることにより, 不整合性関係を確実に識別できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-04T09:00:06Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• Are LLMs Good Annotators for Discourse-level Event Relation Extraction? [15.365993658296016]
  大規模言語モデル (LLM) は、様々な自然言語処理タスクにおいて習熟度を示す。 本研究は, 教師あり学習によって確立されたベースラインと比較して, LLMの顕著な性能低下を明らかにした。
  論文  参考訳（メタデータ） (2024-07-28T19:27:06Z)
• Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks [0.0]
  関係抽出(RE)は、構造化されていないデータを知識グラフ(KG)のような構造化形式に変換するために重要である プレトレーニング言語モデル(PLM)を活用した最近の研究は、この分野で大きな成功を収めている。 本研究では、微調整LDMの性能と、Retrieval Augmented-based (RAG) REアプローチへの統合について検討する。
  論文  参考訳（メタデータ） (2024-06-20T21:27:57Z)
• Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
  本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
  論文  参考訳（メタデータ） (2024-03-05T04:58:37Z)
• Semi-automatic Data Enhancement for Document-Level Relation Extraction with Distant Supervision from Large Language Models [26.523153535336725]
  ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。 本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。 DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-13T13:10:44Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。