論文の概要: RUIE: Retrieval-based Unified Information Extraction using Large Language Model

• arxiv url: http://arxiv.org/abs/2409.11673v1
• Date: Wed, 18 Sep 2024 03:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:19:53.388703
• Title: RUIE: Retrieval-based Unified Information Extraction using Large Language Model
• Title（参考訳）: RUIE:大規模言語モデルを用いた検索型統一情報抽出
• Authors: Xincheng Liao, Junwen Duan, Yixi Huang, Jianxin Wang,
• Abstract要約: 統一された情報抽出は、単一のモデルまたはフレームワークを使用して全ての情報抽出タスクを完了することを目的としている。 本稿では,テキスト内学習を活用して迅速な一般化を実現するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。 8つのホールドアウトデータセットの実験結果から、未確認タスクを一般化するRUIEの有効性が示された。
• 参考スコア（独自算出の注目度）: 6.788855739199981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified information extraction (UIE) aims to complete all information extraction tasks using a single model or framework. While previous work has primarily focused on instruction-tuning large language models (LLMs) with constructed datasets, these methods require significant computational resources and struggle to generalize to unseen tasks. To address these limitations, we propose RUIE (Retrieval-based Unified Information Extraction), a framework that leverages in-context learning to enable rapid generalization while reducing computational costs. The key challenge in RUIE is selecting the most beneficial demonstrations for LLMs to effectively handle diverse IE tasks. To achieve this, we integrate LLM preferences for ranking candidate demonstrations and design a keyword-enhanced reward model to capture fine-grained relationships between queries and demonstrations. We then train a bi-encoder retriever for UIE through contrastive learning and knowledge distillation. To the best of our knowledge, RUIE is the first trainable retrieval framework for UIE. Experimental results on 8 held-out datasets demonstrate RUIE's effectiveness in generalizing to unseen tasks, with average F1-score improvements of 19.22 and 3.13 compared to instruction-tuning methods and other retrievers, respectively. Further analysis confirms RUIE's adaptability to LLMs of varying sizes and the importance of its key components.
• Abstract（参考訳）: 統一情報抽出(UIE)は、単一のモデルまたはフレームワークを使用して全ての情報抽出タスクを完了することを目的としている。 これまでの研究は主に、構築されたデータセットを用いた命令チューニング大型言語モデル(LLM)に焦点を当ててきたが、これらの手法にはかなりの計算資源が必要であり、目に見えないタスクに一般化するのに苦労している。 これらの制約に対処するため,計算コストを削減しつつ,テキスト内学習を活用して迅速な一般化を実現するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。 RUIEの鍵となる課題は、多様なIEタスクを効果的に処理するために、LLMにとって最も有益なデモを選択することである。 これを実現するために,候補演示のランク付けのためのLLM選好を統合し,キーワード強化報酬モデルの設計を行い,クエリと実演の微妙な関係を捉える。 そして、対照的な学習と知識の蒸留を通じてUIEのためのバイエンコーダレトリバーを訓練する。 私たちの知る限りでは、RUIEはUIEのためのトレーニング可能な最初のフレームワークです。 8つのホールドアウトデータセットの実験結果から, RUIE が未確認タスクを一般化する効果が示され, 平均 F1 スコア改善率は, 命令チューニング法および他のレトリバーと比較して19.22 と 3.13 である。 RUIEのLLMへの適応性は、様々なサイズで確認され、キーコンポーネントの重要性も確認される。

関連論文リスト

• Leveraging Large Language Models for Web Scraping [0.0]
  本研究では,言語生成用に設計したRAGモデルに対して,汎用的な高精度なデータスクレイピング手法について検討する。 よりモジュール的で解釈可能な方法で知識をキャプチャするために、私たちは、潜在的な知識検索機能を備えた事前訓練された言語モデルを使用します。
  論文  参考訳（メタデータ） (2024-06-12T14:15:15Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。 本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
  論文  参考訳（メタデータ） (2023-11-21T02:01:01Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• Training Data is More Valuable than You Think: A Simple and Effective Method by Retrieving from Training Data [82.92758444543689]
  検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。 意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。 実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T17:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。