論文の概要: Self-Improving for Zero-Shot Named Entity Recognition with Large Language Models
- arxiv url: http://arxiv.org/abs/2311.08921v3
- Date: Thu, 21 Mar 2024 00:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 12:50:46.147415
- Title: Self-Improving for Zero-Shot Named Entity Recognition with Large Language Models
- Title(参考訳): 大規模言語モデルを用いたゼロショット名前付きエンティティ認識の自己改善
- Authors: Tingyu Xie, Qi Li, Yan Zhang, Zuozhu Liu, Hongwei Wang,
- Abstract要約: この研究は、強力な大言語モデル(LLM)によるゼロショットNERのパフォーマンス境界を押し上げる。
LLMの自己学習能力を刺激するためにラベルのないコーパスを利用する、トレーニング不要な自己改善フレームワークを提案する。
4つのベンチマークの実験は、我々のフレームワークによって達成された大幅なパフォーマンス改善を示している。
- 参考スコア(独自算出の注目度): 16.16724411695959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exploring the application of powerful large language models (LLMs) on the named entity recognition (NER) task has drawn much attention recently. This work pushes the performance boundary of zero-shot NER with LLMs by proposing a training-free self-improving framework, which utilizes an unlabeled corpus to stimulate the self-learning ability of LLMs. First, we use the LLM to make predictions on the unlabeled corpus using self-consistency and obtain a self-annotated dataset. Second, we explore various strategies to select reliable annotations to form a reliable self-annotated dataset. Finally, for each test input, we retrieve demonstrations from the reliable self-annotated dataset and perform inference via in-context learning. Experiments on four benchmarks show substantial performance improvements achieved by our framework. Through comprehensive experimental analysis, we find that increasing the size of unlabeled corpus or iterations of self-improving does not guarantee further improvement, but the performance might be boosted via more advanced strategies for reliable annotation selection. Code and data are publicly available at https://github.com/Emma1066/Self-Improve-Zero-Shot-NER
- Abstract(参考訳): 名前付きエンティティ認識(NER)タスクへの強力な大規模言語モデル(LLM)の適用を探求する動きが,近年注目されている。
本研究は,ゼロショットNERとLLMの性能境界を,ラベルのないコーパスを用いてLLMの自己学習能力を刺激する学習自由な自己改善フレームワークを提案する。
まず,LLMを用いて自己整合性を用いてラベルなしコーパスの予測を行い,自己注釈付きデータセットを得る。
第2に、信頼できるアノテーションを選択して、信頼できる自己アノテーションデータセットを構築するための様々な戦略について検討する。
最後に、各テスト入力に対して、信頼性の高い自己アノテートデータセットからデモを取得し、コンテキスト内学習を通じて推論を行う。
4つのベンチマークの実験は、我々のフレームワークによって達成された大幅なパフォーマンス改善を示している。
包括的実験分析により,未ラベルコーパスの増大や自己改善の繰り返しはさらなる改善を保証しないが,信頼性の高いアノテーション選択のためのより高度な戦略により,性能が向上する可能性が示唆された。
コードとデータはhttps://github.com/Emma1066/Self-Improve-Zero-Shot-NERで公開されている。
関連論文リスト
- Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping [54.8906415124942]
自己アライメントのブートストラップは、シングルラウンドアプローチをはるかに上回る。
モデルが継続的に強化した複数ショット機能を活用してゼロまたはワンショットのパフォーマンスを向上するステップ・オン・フィート・チューニング(SOFT)を提案する。
簡単な学習法に基づいて、自己アライメントの性能をさらに向上させるSOFT+を提案する。
論文 参考訳(メタデータ) (2024-02-12T12:30:42Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z) - Entailment as Robust Self-Learner [14.86757876218415]
我々は、複数の異なるNLUタスクを文脈的エンターテイメントとして定式化するプロンプト戦略を設計する。
自己学習における擬似ラベル品質向上のための簡易擬似ラベル編集(SimPLE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-26T18:41:23Z) - Self-ICL: Zero-Shot In-Context Learning with Self-Generated
Demonstrations [38.4166247280112]
Self-ICLは、ゼロショットICLを実行するためにLMの固有の機能をブートストラップするフレームワークである。
Self-ICLは平均精度と頭部比較の両方でゼロショットベースラインを上回っている。
論文 参考訳(メタデータ) (2023-05-24T11:22:34Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - A Confidence-based Partial Label Learning Model for Crowd-Annotated
Named Entity Recognition [74.79785063365289]
名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。
我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
論文 参考訳(メタデータ) (2023-05-21T15:31:23Z) - On the Use of External Data for Spoken Named Entity Recognition [40.93448412171246]
近年の自己教師型音声表現の進歩により,ラベル付きデータに制限のある学習モデルを考えることが可能になった。
自己学習、知識蒸留、トランスファーラーニングなど、さまざまなアプローチを採用し、エンドツーエンドモデルとパイプラインアプローチの両方に適用性を検討する。
論文 参考訳(メタデータ) (2021-12-14T18:49:26Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20~30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳(メタデータ) (2020-06-27T08:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。