論文の概要: LLM with Relation Classifier for Document-Level Relation Extraction

• arxiv url: http://arxiv.org/abs/2408.13889v2
• Date: Sat, 07 Dec 2024 09:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:49:42.505352
• Title: LLM with Relation Classifier for Document-Level Relation Extraction
• Title（参考訳）: 文書レベル関係抽出のための関係分類器付きLLM
• Authors: Xingzuo Li, Kehai Chen, Yunfei Long, Min Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理のための新しいパラダイムを生み出した。 本稿では,この性能ギャップの原因を解明し,関係のないエンティティペアによるLCMによる注意の分散を重要要因とする。
• 参考スコア（独自算出の注目度）: 25.587850398830252
• License:
• Abstract: Large language models (LLMs) have created a new paradigm for natural language processing. Despite their advancement, LLM-based methods still lag behind traditional approaches in document-level relation extraction (DocRE), a critical task for understanding complex entity relations within long context. This paper investigates the causes of this performance gap, identifying the dispersion of attention by LLMs due to entity pairs without relations as a key factor. We then introduce a novel classifier-LLM approach to DocRE. Particularly, the proposed approach begins with a classifier designed to select entity pair candidates that exhibit potential relations and then feed them to LLM for final relation classification. This method ensures that the LLM's attention is directed at relation-expressing entity pairs instead of those without relations during inference. Experiments on DocRE benchmarks reveal that our method significantly outperforms recent LLM-based DocRE models and narrows the performance gap with state-of-the-art BERT-based models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理のための新しいパラダイムを生み出した。 ドキュメントレベルの関係抽出(DocRE)は、長いコンテキスト内で複雑なエンティティ関係を理解するための重要なタスクである。 本稿では,この性能ギャップの原因を解明し,関係のないエンティティペアによるLCMによる注意の分散を重要要因とする。 次にDocREに新しい分類器-LLMアプローチを導入する。 特に、提案手法は、潜在的な関係を示すエンティティペア候補を選択して、最終関係分類のためにLSMに供給するように設計された分類器から始まる。 この方法により、LLMの注意は、推論中に関係のないものではなく、関係表現するエンティティペアに向けられる。 DocREベンチマーク実験の結果,本手法は最近のLCMベースのDocREモデルよりも大幅に優れており,最先端のBERTモデルと性能差を狭めていることがわかった。

関連論文リスト

• Will LLMs Replace the Encoder-Only Models in Temporal Relation Classification? [2.1861408994125253]
  大規模言語モデル(LLM)は、最近、時間的推論タスクで有望なパフォーマンスを示した。 最近の研究は、閉ソースモデルのみの時間的関係を検出するためにLLMの性能を検証している。
  論文  参考訳（メタデータ） (2024-10-14T13:10:45Z)
• Enhancing High-order Interaction Awareness in LLM-based Recommender Model [3.7623606729515133]
  本稿では,LLMベースのリコメンデータ(ELMRec)について述べる。 我々は、レコメンデーションのためのグラフ構築相互作用のLLM解釈を大幅に強化するために、単語全体の埋め込みを強化する。 ELMRecは、直接およびシーケンシャルなレコメンデーションの両方において、最先端(SOTA)メソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-09-30T06:07:12Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks [0.0]
  関係抽出(RE)は、構造化されていないデータを知識グラフ(KG)のような構造化形式に変換するために重要である プレトレーニング言語モデル(PLM)を活用した最近の研究は、この分野で大きな成功を収めている。 本研究では、微調整LDMの性能と、Retrieval Augmented-based (RAG) REアプローチへの統合について検討する。
  論文  参考訳（メタデータ） (2024-06-20T21:27:57Z)
• Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
  本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
  論文  参考訳（メタデータ） (2024-03-05T04:58:37Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Semi-automatic Data Enhancement for Document-Level Relation Extraction with Distant Supervision from Large Language Models [26.523153535336725]
  ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。 本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。 DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-13T13:10:44Z)
• CoLLM: Integrating Collaborative Embeddings into Large Language Models for Recommendation [60.2700801392527]
  我々は,協調情報をLLMにシームレスに組み込んでレコメンデーションを行う,革新的なLLMRec手法であるCoLLMを紹介する。 CoLLMは、外部の伝統的なモデルを通して協調情報をキャプチャし、LLMの入力トークン埋め込み空間にマッピングする。 大規模な実験により、CoLLMはLLMに協調情報を包括的に統合し、レコメンデーション性能が向上することが確認された。
  論文  参考訳（メタデータ） (2023-10-30T12:25:00Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。