論文の概要: Self-Improving for Zero-Shot Named Entity Recognition with Large
Language Models
- arxiv url: http://arxiv.org/abs/2311.08921v1
- Date: Wed, 15 Nov 2023 12:47:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 16:12:56.236367
- Title: Self-Improving for Zero-Shot Named Entity Recognition with Large
Language Models
- Title(参考訳): 大規模言語モデルを用いたゼロショット型エンティティ認識の自己改善
- Authors: Tingyu Xie, Qi Li, Yan Zhang, Zuozhu Liu, Hongwei Wang
- Abstract要約: 本研究は,強力な大言語モデル(LLM)を用いたゼロショットNERの境界を推し進める可能性を検討することを目的とする。
NER上でのLLMの自己学習能力を刺激するためにラベルのないコーパスを利用する自己改善フレームワークを提案する。
我々は、選択した自己アノテーションによる実演を用いて、コンテキスト内学習によるテストクエリの推論を行う。
- 参考スコア(独自算出の注目度): 17.344962440045624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exploring the application of powerful large language models (LLMs) on the
fundamental named entity recognition (NER) task has drawn much attention
recently. This work aims to investigate the possibilities of pushing the
boundary of zero-shot NER with LLM via a training-free self-improving strategy.
We propose a self-improving framework, which utilize an unlabeled corpus to
stimulate the self-learning ability of LLMs on NER. First, we use LLM to make
predictions on the unlabeled corpus and obtain the self-annotated data. Second,
we explore various strategies to select reliable samples from the
self-annotated dataset as demonstrations, considering the similarity, diversity
and reliability of demonstrations. Finally, we conduct inference for the test
query via in-context learning with the selected self-annotated demonstrations.
Through comprehensive experimental analysis, our study yielded the following
findings: (1) The self-improving framework further pushes the boundary of
zero-shot NER with LLMs, and achieves an obvious performance improvement; (2)
Iterative self-improving or naively increasing the size of unlabeled corpus
does not guarantee improvements; (3) There might still be space for improvement
via more advanced strategy for reliable entity selection.
- Abstract(参考訳): 近年,強力な大規模言語モデル(LLM)の基本的な名前付きエンティティ認識(NER)タスクへの適用が注目されている。
本研究は,ゼロショットナーとllmの境界をトレーニングフリーの自己改善戦略で押し上げる可能性を検討することを目的とする。
NER上でのLLMの自己学習能力を刺激するためにラベルのないコーパスを利用する自己改善フレームワークを提案する。
まず LLM を用いてラベルなしコーパスの予測を行い,自己注釈付きデータを取得する。
次に,実演の類似性,多様性,信頼性を考慮して,自己注釈データセットから信頼できるサンプルを選択するための様々な戦略を検討する。
最後に、選択した自己アノテートされたデモを用いて、コンテキスト内学習によるテストクエリの推論を行う。
包括的実験分析により,(1)自己改善フレームワークがさらにゼロショットナーの境界をllmsで押し進め,明らかな性能向上を実現すること,(2)反復的自己改善やラベルなしコーパスのサイズ拡大は改善を保証しないこと,(3)信頼性の高いエンティティ選択のためのより高度な戦略による改善の余地がある可能性があること,の結論を得た。
関連論文リスト
- Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - Empirical Study of Zero-Shot NER with ChatGPT [19.534329209433626]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて強力な能力を示した。
本研究はゼロショット情報抽出におけるLLM性能の探索に焦点をあてる。
記号的推論と算術的推論におけるLLMの顕著な推論能力に着想を得て, 代表的な推論手法をNERに適用する。
論文 参考訳(メタデータ) (2023-10-16T03:40:03Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Self-ICL: Zero-Shot In-Context Learning with Self-Generated
Demonstrations [38.4166247280112]
Self-ICLは、ゼロショットICLを実行するためにLMの固有の機能をブートストラップするフレームワークである。
Self-ICLは平均精度と頭部比較の両方でゼロショットベースラインを上回っている。
論文 参考訳(メタデータ) (2023-05-24T11:22:34Z) - A Confidence-based Partial Label Learning Model for Crowd-Annotated
Named Entity Recognition [74.79785063365289]
名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。
我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
論文 参考訳(メタデータ) (2023-05-21T15:31:23Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - GEDI: GEnerative and DIscriminative Training for Self-Supervised
Learning [3.6804038214708563]
我々は最先端の自己教師型学習目標について検討し、確率学習に基づく統一的な定式化を提案する。
我々は、この組み合わせフレームワークをGEDIと呼び、これはGEnerativeおよびDIscriminative Trainingの略である。
GEDIはクラスタリング性能において,既存の自己教師型学習戦略よりも広いマージンで優れていることを示す。
論文 参考訳(メタデータ) (2022-12-27T09:33:50Z) - Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations [97.41375480696972]
そこで,Z-ICLを提案する。Z-ICL,Z-ICLは,与えられたテスト入力に対して擬似デモを構築することでギャップを埋める新しいゼロショット方式である。
9つの分類データセットの評価は、Z-ICLが従来のゼロショット法よりも有意差で優れていたことを示している。
論文 参考訳(メタデータ) (2022-12-19T21:34:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。