論文の概要: Recall, Retrieve and Reason: Towards Better In-Context Relation Extraction
- arxiv url: http://arxiv.org/abs/2404.17809v1
- Date: Sat, 27 Apr 2024 07:12:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 19:11:12.143515
- Title: Recall, Retrieve and Reason: Towards Better In-Context Relation Extraction
- Title（参考訳）: Recall, Retrieve and Reason: より優れたインコンテキスト関係抽出を目指して
- Authors: Guozheng Li, Peng Wang, Wenjun Ke, Yikai Guo, Ke Ji, Ziyu Shang, Jiajun Liu, Zijie Xu,
- Abstract要約: 関係抽出(RE)は、テキストで言及されたエンティティ間の関係を特定することを目的としている。
大規模言語モデル(LLM)は、様々なタスクにおいて、コンテキスト内学習能力を印象的に示している。
LLMは、ほとんどの教師付き細調整RE法と比較して性能が劣る。
- 参考スコア（独自算出の注目度）: 11.535892987373947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relation extraction (RE) aims to identify relations between entities mentioned in texts. Although large language models (LLMs) have demonstrated impressive in-context learning (ICL) abilities in various tasks, they still suffer from poor performances compared to most supervised fine-tuned RE methods. Utilizing ICL for RE with LLMs encounters two challenges: (1) retrieving good demonstrations from training examples, and (2) enabling LLMs exhibit strong ICL abilities in RE. On the one hand, retrieving good demonstrations is a non-trivial process in RE, which easily results in low relevance regarding entities and relations. On the other hand, ICL with an LLM achieves poor performance in RE while RE is different from language modeling in nature or the LLM is not large enough. In this work, we propose a novel recall-retrieve-reason RE framework that synergizes LLMs with retrieval corpora (training examples) to enable relevant retrieving and reliable in-context reasoning. Specifically, we distill the consistently ontological knowledge from training datasets to let LLMs generate relevant entity pairs grounded by retrieval corpora as valid queries. These entity pairs are then used to retrieve relevant training examples from the retrieval corpora as demonstrations for LLMs to conduct better ICL via instruction tuning. Extensive experiments on different LLMs and RE datasets demonstrate that our method generates relevant and valid entity pairs and boosts ICL abilities of LLMs, achieving competitive or new state-of-the-art performance on sentence-level RE compared to previous supervised fine-tuning methods and ICL-based methods.
- Abstract（参考訳）: 関係抽出(RE)は、テキストで言及されたエンティティ間の関係を特定することを目的としている。
大規模言語モデル(LLM)は、様々なタスクにおいて印象的な文脈内学習(ICL)能力を示してきたが、教師付き細調整のRE法に比べてパフォーマンスが劣っている。
ICL for RE と LLM の併用は,(1) トレーニング例から優れた実演を回収すること,(2) LLM が RE に強い ICL 能力を示すこと,の2つの課題に直面する。
一方、良いデモンストレーションを取得することはREの非自明なプロセスであり、エンティティや関係に関する関連性が低い。
一方,LLM を用いた ICL は RE では性能が劣るが,RE では言語モデリングとは性質が異なり,LLM では不十分である。
本研究では,LLMを検索コーパス(学習例)と相乗化するリコール・リトリーブ・レアソンREフレームワークを提案する。
具体的には、トレーニングデータセットから一貫したオントロジ知識を抽出し、検索コーパスを根拠とした関連エンティティペアを有効なクエリとしてLLMに生成する。
これらのエンティティペアは、LLMが命令チューニングによってより優れたICLを実行するためのデモとして、検索コーパスから関連するトレーニング例を取得するために使用される。
LLMとREデータセットの多種多様な実験により、本手法は関連性のあるエンティティペアを生成し、LCMのICL能力を高めることを示し、従来の教師付き微調整法やICLに基づく手法と比較して、文レベルREにおける競合性や新しい最先端性能を実現する。
関連論文リスト
- Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。
検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。
生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
論文 参考訳（メタデータ） (2024-11-11T14:25:37Z) - DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。
LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。
我々の手法は既存の最先端アルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2024-08-15T15:56:23Z) - Is In-Context Learning Sufficient for Instruction Following in LLMs? [38.29072578390376]
実効性はあるものの, MT-Bench の命令微調整と比較すると, ICL とAL とのアライメントは依然として不十分であることがわかった。
我々は、我々の知識、ICLの体系的比較、低データ体制における命令追従のための命令微調整(IFT)を初めて提供する。
論文 参考訳（メタデータ） (2024-05-30T09:28:56Z) - Meta In-Context Learning Makes Large Language Models Better Zero and Few-Shot Relation Extractors [9.881102419679673]
textscMicre (textbfMeta textbfIn-textbfContext learning of LLMs for textbfRelation textbfExtraction)は、ゼロおよび少数ショット関係抽出のための新しいメタトレーニングフレームワークである。
textscMicreは、ターゲットREデータセットの推論中に関係ラベル名を介して関係意味知識を転送可能であることを示す。
論文 参考訳（メタデータ） (2024-04-27T07:06:39Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Self-Retrieval: End-to-End Information Retrieval with One Large Language Model [97.71181484082663]
本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。
自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
論文 参考訳（メタデータ） (2024-02-23T18:45:35Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳（メタデータ） (2023-11-07T18:43:34Z) - In-Context Exemplars as Clues to Retrieving from Large Associative
Memory [1.2952137350423816]
インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。
文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。
本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
論文 参考訳（メタデータ） (2023-11-06T20:13:29Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳（メタデータ） (2023-10-18T05:13:47Z) - Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。
近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。
本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文 参考訳（メタデータ） (2023-10-08T06:17:39Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳（メタデータ） (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。