論文の概要: Retrieval Augmented Instruction Tuning for Open NER with Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17305v1
• Date: Tue, 25 Jun 2024 06:24:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 15:31:28.541352
• Title: Retrieval Augmented Instruction Tuning for Open NER with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたオープンNERのための検索強化命令チューニング
• Authors: Tingyu Xie, Jian Zhang, Yan Zhang, Yuanyuan Liang, Qi Li, Hongwei Wang,
• Abstract要約: オープンネームエンティティ認識(NER)の課題に焦点をあてて,IE用検索強化教育チューニング(RA-IT)について検討する。 各トレーニングサンプルに対して、トレーニングデータセットから意味論的に類似したサンプルをコンテキストとして検索し、元の命令の入力にプリペイトする。 実験により, RA-ITの有効性は, 様々なデータサイズ, 英語と中国語のシナリオで検証された。
• 参考スコア（独自算出の注目度）: 13.3434266233227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The strong capability of large language models (LLMs) has been applied to information extraction (IE) through either retrieval augmented prompting or instruction tuning (IT). However, the best way to incorporate information with LLMs for IE remains an open question. In this paper, we explore Retrieval Augmented Instruction Tuning (RA-IT) for IE, focusing on the task of open named entity recognition (NER). Specifically, for each training sample, we retrieve semantically similar examples from the training dataset as the context and prepend them to the input of the original instruction. To evaluate our RA-IT approach more thoroughly, we construct a Chinese IT dataset for open NER and evaluate RA-IT in both English and Chinese scenarios. Experimental results verify the effectiveness of RA-IT across various data sizes and in both English and Chinese scenarios. We also conduct thorough studies to explore the impacts of various retrieval strategies in the proposed RA-IT framework. Code and data are available at: https://github.com/Emma1066/Retrieval-Augmented-IT-OpenNER
• Abstract（参考訳）: 大規模言語モデル (LLM) の強みは,情報抽出 (IE) に拡張プロンプトや命令チューニング (IT) によって応用されている。 しかし、情報を LLMs for IE に組み込む最善の方法は、未解決の問題である。 本稿では,IE 用検索機能拡張命令チューニング (RA-IT) について検討し,オープンネームエンティティ認識 (NER) の課題に着目した。 具体的には、各トレーニングサンプルに対して、トレーニングデータセットから意味論的に類似したサンプルをコンテキストとして検索し、元の命令の入力にプリペイドする。 RA-ITのアプローチをより徹底的に評価するために,オープンNERのための中国語ITデータセットを構築し,英語と中国語の両方のシナリオでRA-ITを評価する。 実験により, RA-ITの有効性は, 様々なデータサイズ, 英語と中国語のシナリオで検証された。 また,提案するRA-ITフレームワークにおける各種検索戦略の影響について,徹底的な研究を行った。 https://github.com/Emma1066/Retrieval-Augmented-IT-OpenNER

関連論文リスト

• Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks [12.400599440431188]
  自然言語処理(NLP)における情報抽出(IE)の役割 英語IEタスクに焦点をあてた最近の実験は、LLM(Large Language Models)が最適性能を達成する上で直面する課題に光を当てている。
  論文  参考訳（メタデータ） (2024-06-04T08:00:40Z)
• Unveiling the Potential of LLM-Based ASR on Chinese Open-Source Datasets [22.29915616018026]
  LLM(Large Language Models)は、様々なNLPタスクにおいて非並列の有効性を示す。 本研究の目的は,音声エンコーダ,LLM,プロジェクタモジュールの様々な構成の影響を評価することである。 本研究では,3段階の学習手法を導入し,モデルが聴覚情報とテキスト情報を整合させる能力を高めることを目的とした。
  論文  参考訳（メタデータ） (2024-05-03T14:35:58Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [122.62012375722124]
  既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。 Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。 また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• A Dual-Contrastive Framework for Low-Resource Cross-Lingual Named Entity Recognition [5.030581940990434]
  クロスランガルな名前付きエンティティ認識(NER)は、低リソース言語におけるデータ空白問題を緩和できるため、最近研究ホットスポットになっている。 本稿では,言語間NERのための2言語コントラストフレームワーク ConCNER について述べる。
  論文  参考訳（メタデータ） (2022-04-02T07:59:13Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。