論文の概要: Retrieval Augmented Instruction Tuning for Open NER with Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17305v2
• Date: Sun, 01 Dec 2024 09:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:55:19.214215
• Title: Retrieval Augmented Instruction Tuning for Open NER with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたオープンNERのための検索強化命令チューニング
• Authors: Tingyu Xie, Jian Zhang, Yan Zhang, Yuanyuan Liang, Qi Li, Hongwei Wang,
• Abstract要約: オープンネームエンティティ認識(NER)の課題に焦点をあてて,IE用検索強化教育チューニング(RA-IT)について検討する。 各トレーニングサンプルに対して、トレーニングデータセットから意味論的に類似したサンプルをコンテキストとして検索し、元の命令の入力にプリペイトする。 実験により, RA-ITの有効性は, 様々なデータサイズ, 英語と中国語のシナリオで検証された。
• 参考スコア（独自算出の注目度）: 13.3434266233227
• License:
• Abstract: The strong capability of large language models (LLMs) has been applied to information extraction (IE) through either retrieval augmented prompting or instruction tuning (IT). However, the best way to incorporate information with LLMs for IE remains an open question. In this paper, we explore Retrieval Augmented Instruction Tuning (RA-IT) for IE, focusing on the task of open named entity recognition (NER). Specifically, for each training sample, we retrieve semantically similar examples from the training dataset as the context and prepend them to the input of the original instruction. To evaluate our RA-IT approach more thoroughly, we construct a Chinese IT dataset for open NER and evaluate RA-IT in both English and Chinese scenarios. Experimental results verify the effectiveness of RA-IT across various data sizes and in both English and Chinese scenarios. We also conduct thorough studies to explore the impacts of various retrieval strategies in the proposed RA-IT framework. Code and data are available at: https://github.com/Emma1066/Retrieval-Augmented-IT-OpenNER
• Abstract（参考訳）: 大規模言語モデル (LLM) の強みは,情報抽出 (IE) に拡張プロンプトや命令チューニング (IT) によって応用されている。 しかし、情報を LLMs for IE に組み込む最善の方法は、未解決の問題である。 本稿では,IE 用検索機能拡張命令チューニング (RA-IT) について検討し,オープンネームエンティティ認識 (NER) の課題に着目した。 具体的には、各トレーニングサンプルに対して、トレーニングデータセットから意味論的に類似したサンプルをコンテキストとして検索し、元の命令の入力にプリペイドする。 RA-ITのアプローチをより徹底的に評価するために,オープンNERのための中国語ITデータセットを構築し,英語と中国語の両方のシナリオでRA-ITを評価する。 実験により, RA-ITの有効性は, 様々なデータサイズ, 英語と中国語のシナリオで検証された。 また,提案するRA-ITフレームワークにおける各種検索戦略の影響について,徹底的な研究を行った。 https://github.com/Emma1066/Retrieval-Augmented-IT-OpenNER

関連論文リスト

• RUIE: Retrieval-based Unified Information Extraction using Large Language Model [6.788855739199981]
  統一された情報抽出は、単一のモデルまたはフレームワークを使用して全ての情報抽出タスクを完了することを目的としている。 本稿では,テキスト内学習を活用して迅速な一般化を実現するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。 8つのホールドアウトデータセットの実験結果から、未確認タスクを一般化するRUIEの有効性が示された。
  論文  参考訳（メタデータ） (2024-09-18T03:20:04Z)
• Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks [12.400599440431188]
  自然言語処理(NLP)における情報抽出(IE)の役割 英語IEタスクに焦点をあてた最近の実験は、LLM(Large Language Models)が最適性能を達成する上で直面する課題に光を当てている。
  論文  参考訳（メタデータ） (2024-06-04T08:00:40Z)
• Unveiling the Potential of LLM-Based ASR on Chinese Open-Source Datasets [22.29915616018026]
  LLM(Large Language Models)は、様々なNLPタスクにおいて非並列の有効性を示す。 本研究の目的は,音声エンコーダ,LLM,プロジェクタモジュールの様々な構成の影響を評価することである。 本研究では,3段階の学習手法を導入し,モデルが聴覚情報とテキスト情報を整合させる能力を高めることを目的とした。
  論文  参考訳（メタデータ） (2024-05-03T14:35:58Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  本稿では,インストラクションチューニング(IT)の急速な発展分野における研究成果について調査する。 本稿では、指定しない場合を除き、命令チューニング(IT)は教師付き微調整(SFT)と等価である。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。