Fugu-MT 論文翻訳(概要): FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios

論文の概要: FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios

arxiv url: http://arxiv.org/abs/2407.08035v1
Date: Wed, 10 Jul 2024 20:32:50 GMT
ステータス: 処理完了
システム内更新日: 2024-07-12 21:29:18.697206
Title: FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios
Title（参考訳）: FsPONER:ドメイン固有のシナリオにおける名前付きエンティティ認識のためのショットプロンプト最適化
Authors: Yongjian Tang, Rakebul Hasan, Thomas Runkler,
Abstract要約: FsPONERは、少数ショットプロンプトを最適化するための新しいアプローチであり、ドメイン固有のNERデータセットの性能を評価する。 FsPONERは、ランダムサンプリングとTF-IDFとの組み合わせに基づく3つのショット選択法で構成されている。データ不足を考慮した実世界のシナリオでは、TF-IDFを用いたFsPONERは、F1スコアで約10%の微調整モデルを上回っている。
参考スコア（独自算出の注目度）: 0.5106912532044251
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have provided a new pathway for Named Entity Recognition (NER) tasks. Compared with fine-tuning, LLM-powered prompting methods avoid the need for training, conserve substantial computational resources, and rely on minimal annotated data. Previous studies have achieved comparable performance to fully supervised BERT-based fine-tuning approaches on general NER benchmarks. However, none of the previous approaches has investigated the efficiency of LLM-based few-shot learning in domain-specific scenarios. To address this gap, we introduce FsPONER, a novel approach for optimizing few-shot prompts, and evaluate its performance on domain-specific NER datasets, with a focus on industrial manufacturing and maintenance, while using multiple LLMs -- GPT-4-32K, GPT-3.5-Turbo, LLaMA 2-chat, and Vicuna. FsPONER consists of three few-shot selection methods based on random sampling, TF-IDF vectors, and a combination of both. We compare these methods with a general-purpose GPT-NER method as the number of few-shot examples increases and evaluate their optimal NER performance against fine-tuned BERT and LLaMA 2-chat. In the considered real-world scenarios with data scarcity, FsPONER with TF-IDF surpasses fine-tuned models by approximately 10% in F1 score.
Abstract（参考訳）: 大きな言語モデル(LLM)は、名前付きエンティティ認識(NER)タスクのための新しい経路を提供する。微調整と比較して、LPMを利用したプロンプト法は、トレーニングの必要を回避し、かなりの計算資源を保存し、最小限のアノテートデータに依存する。従来の研究は、一般的なNERベンチマークにおいて、完全に教師付きBERTベースの微調整アプローチに匹敵する性能を達成している。しかし、従来のアプローチでは、ドメイン固有のシナリオにおけるLLMに基づく数ショット学習の効率性について研究は行われていない。このギャップに対処するため、我々はFsPONERを導入し、いくつかのLLM(GPT-4-32K, GPT-3.5-Turbo, LLaMA 2-chat, Vicuna)を使用しながら、ドメイン固有のNERデータセットの性能を評価した。 FsPONERは、ランダムサンプリング、TF-IDFベクトル、および両者の組み合わせに基づく3つのショット選択法で構成されている。これらの手法を汎用的なGPT-NER法と比較し,いくつかの例が増加し,細調整したBERTとLLaMA 2-chatに対して最適なNER性能が評価される。データ不足を考慮した実世界のシナリオでは、TF-IDFを用いたFsPONERは、F1スコアで約10%の微調整モデルを上回っている。

関連論文リスト

Improving Few-Shot Cross-Domain Named Entity Recognition by Instruction Tuning a Word-Embedding based Retrieval Augmented Large Language Model [0.0]
Few-Shot Cross-Domain NERは、データ豊富なソースドメインからの知識を活用して、データ不足のターゲットドメイン上でエンティティ認識を実行するプロセスである。名前付きエンティティ認識のための検索拡張大言語モデルIF-WRANERを提案する。
論文参考訳（メタデータ） (2024-11-01T08:57:29Z)
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
論文参考訳（メタデータ） (2024-05-21T20:08:52Z)
CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation [18.986613405565514]
大規模言語モデル(LLM)は、シーケンシャルなレコメンデーションのために大量のテキストコーパスで事前訓練される。本稿では,2つの対照的な損失と言語モデリング損失を混合して,事前学習したLLMを2tower方式で微調整する2段階のLLMファインタニングフレームワークを提案する。我々のモデルは、多くの最先端のベースラインを著しく上回ります。
論文参考訳（メタデータ） (2024-05-03T18:51:19Z)
Large Language Models aren't all that you need [0.0]
本稿では,SemEval 2023 Task 2: MultiCoNER IIを解くために構築されたアーキテクチャとシステムについて述べる。 a)従来のランダムフィールドモデルと(b)カスタマイズされた頭で微調整されたLarge Language Model(LLM)の2つのアプローチを評価し、その2つのアプローチを比較した。
論文参考訳（メタデータ） (2024-01-01T08:32:50Z)
Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。本稿では, 対物近似(CF)の2つの手法を提案する。
論文参考訳（メタデータ） (2023-10-01T07:31:04Z)
FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文参考訳（メタデータ） (2023-09-01T09:40:36Z)
Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
論文参考訳（メタデータ） (2023-05-19T16:25:43Z)
CONTaiNER: Few-Shot Named Entity Recognition via Contrastive Learning [11.289324473201614]
既存のアプローチでは、ソースドメインからクラス固有のセマンティック機能と中間表現しか学ばない。本研究では,Few-Shot NERのトークン間分布距離を最適化する新しいコントラスト学習手法であるCon TaiNERを提案する。従来のテスト領域 (OntoNotes, CoNLL'03, WNUT '17, GUM) と新しい大規模Few-Shot NERデータセット (Few-NERD) を用いて行った実験では, CON TaiNER が従来の手法よりも3%-13%の絶対F1点で優れていた。
論文参考訳（メタデータ） (2021-09-15T21:41:16Z)
On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文参考訳（メタデータ） (2021-09-06T12:04:08Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。