論文の概要: RUIE: Retrieval-based Unified Information Extraction using Large Language Model

• arxiv url: http://arxiv.org/abs/2409.11673v2
• Date: Tue, 21 Jan 2025 07:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:04.564169
• Title: RUIE: Retrieval-based Unified Information Extraction using Large Language Model
• Title（参考訳）: RUIE:大規模言語モデルを用いた検索型統一情報抽出
• Authors: Xincheng Liao, Junwen Duan, Yixi Huang, Jianxin Wang,
• Abstract要約: 統一された情報抽出は、構造化されていないテキストから構造化された情報を抽出することを目的としている。 本稿では,タスクの効率的な一般化にコンテキスト内学習を活用するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。
• 参考スコア（独自算出の注目度）: 6.788855739199981
• License:
• Abstract: Unified information extraction (UIE) aims to extract diverse structured information from unstructured text. While large language models (LLMs) have shown promise for UIE, they require significant computational resources and often struggle to generalize to unseen tasks. We propose RUIE (Retrieval-based Unified Information Extraction), a framework that leverages in-context learning for efficient task generalization. RUIE introduces a novel demonstration selection mechanism combining LLM preferences with a keyword-enhanced reward model, and employs a bi-encoder retriever trained through contrastive learning and knowledge distillation. As the first trainable retrieval framework for UIE, RUIE serves as a universal plugin for various LLMs. Experimental results on eight held-out datasets demonstrate RUIE's effectiveness, with average F1-score improvements of 19.22 and 3.22 compared to instruction-tuning methods and other retrievers, respectively.
• Abstract（参考訳）: 統一情報抽出(UIE)は、構造化されていないテキストから多様な構造化された情報を抽出することを目的としている。 大規模言語モデル(LLM)はUIEを約束しているが、重要な計算資源を必要とし、しばしば目に見えないタスクに一般化するのに苦労する。 本稿では,タスクの効率的な一般化にコンテキスト内学習を活用するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。 RUIEは、LLM選好とキーワード強化報酬モデルを組み合わせた新しいデモンストレーション選択機構を導入し、対照的な学習と知識の蒸留によって訓練されたバイエンコーダレトリバーを採用している。 UIEの最初のトレーニング可能な検索フレームワークとして、RUIEは様々なLLM用のユニバーサルプラグインとして機能する。 8つのホールドアウトデータセットの実験結果から, RUIEの有効性が示され, 平均F1スコアが19.22と3.22に向上した。

関連論文リスト

• RALLRec: Improving Retrieval Augmented Large Language Model Recommendation with Representation Learning [24.28601381739682]
  大規模言語モデル (LLM) は、ユーザの振る舞いを理解するためのレコメンデーションシステムに統合されている。 既存のRAGメソッドは主にテキストのセマンティクスに依存しており、しばしば最も関連性の高い項目を組み込むことができない。 検索強化大言語モデル推薦(RALLRec)のための表現学習を提案する。
  論文  参考訳（メタデータ） (2025-02-10T02:15:12Z)
• Leveraging Large Language Models for Web Scraping [0.0]
  本研究では,言語生成用に設計したRAGモデルに対して,汎用的な高精度なデータスクレイピング手法について検討する。 よりモジュール的で解釈可能な方法で知識をキャプチャするために、私たちは、潜在的な知識検索機能を備えた事前訓練された言語モデルを使用します。
  論文  参考訳（メタデータ） (2024-06-12T14:15:15Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• GIELLM: Japanese General Information Extraction Large Language Model Utilizing Mutual Reinforcement Effect [0.0]
  汎用情報抽出大言語モデル(GIELLM)について紹介する。 テキスト分類、感性分析、名前付きエンティティ認識、関係抽出、および一様入力出力スキーマを使用したイベント抽出を統合している。 このイノベーションは、このような多様なIEサブタスクを同時に扱うモデルの最初の例である。
  論文  参考訳（メタデータ） (2023-11-12T13:30:38Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。