論文の概要: Label-Guided In-Context Learning for Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2505.23722v1
• Date: Thu, 29 May 2025 17:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.058248
• Title: Label-Guided In-Context Learning for Named Entity Recognition
• Title（参考訳）: 名前付きエンティティ認識のためのラベル誘導型インコンテキスト学習
• Authors: Fan Bai, Hamid Hassanzadeh, Ardavan Saeedi, Mark Dredze,
• Abstract要約: In-context Learning (ICL) では、大規模な言語モデルで新しいタスクを実行することができる。 トークンレベルの統計情報を用いてトレーニングラベルを活用する新しい手法であるDEERを導入し、ICLの性能を向上させる。
• 参考スコア（独自算出の注目度）: 14.63059248497416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) enables large language models (LLMs) to perform new tasks using only a few demonstrations. In Named Entity Recognition (NER), demonstrations are typically selected based on semantic similarity to the test instance, ignoring training labels and resulting in suboptimal performance. We introduce DEER, a new method that leverages training labels through token-level statistics to improve ICL performance. DEER first enhances example selection with a label-guided, token-based retriever that prioritizes tokens most informative for entity recognition. It then prompts the LLM to revisit error-prone tokens, which are also identified using label statistics, and make targeted corrections. Evaluated on five NER datasets using four different LLMs, DEER consistently outperforms existing ICL methods and approaches the performance of supervised fine-tuning. Further analysis shows its effectiveness on both seen and unseen entities and its robustness in low-resource settings.
• Abstract（参考訳）: In-context Learning (ICL) では、大規模な言語モデル(LLM)がいくつかのデモで新しいタスクを実行できる。 名前付きエンティティ認識(NER)では、デモは通常、テストインスタンスとセマンティックな類似性に基づいて選択される。 トークンレベルの統計情報を用いてトレーニングラベルを活用する新しい手法であるDEERを導入し、ICLの性能を向上させる。 DEERはまず、ラベル誘導のトークンベースのレトリバーでサンプル選択を強化し、エンティティ認識に最も有用なトークンを優先順位付けする。 その後、ラベル統計を用いて識別された誤り発生トークンを再検討し、ターゲットの修正を行う。 4つの異なるLLMを用いて5つのNERデータセットで評価され、DEERは既存のICLメソッドを一貫して上回り、教師付き微調整のパフォーマンスにアプローチする。 さらなる分析は、低リソース環境における、見知らぬエンティティと見えないエンティティの両方の有効性とロバスト性を示している。

関連論文リスト

• MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning [53.02571749383208]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)に複数のインプット・アウトプット・サンプルを組み込むことで、多様なタスクに対処する権限を与える。 Many-Shot Adaptive Pseudo-LabEling (MAPLE)は、ラベル情報の欠如を補うために擬似ラベル付きサンプルを利用する新しいインフルエンスベースのマルチショットICLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-22T04:54:27Z)
• CLLMFS: A Contrastive Learning enhanced Large Language Model Framework for Few-Shot Named Entity Recognition [3.695767900907561]
  CLLMFSは、Few-Shot Named Entity RecognitionのためのContrastive LearningEnhanced Large Language Modelフレームワークである。 Low-Rank Adaptation (LoRA)と、数発のNER用に特別に調整された対照的な学習メカニズムを統合している。 提案手法は,F1スコアの現行性能を2.58%から97.74%まで向上させた。
  論文  参考訳（メタデータ） (2024-08-23T04:44:05Z)
• Logit Separability-Driven Samples and Multiple Class-Related Words Selection for Advancing In-Context Learning [0.0]
  本稿では,ロジットレベルのサンプルとクラス関連単語の明瞭度を評価するための基準であるロジット分離性を導入する。 各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。 サンプルを共同で整理し,複数のクラス関連単語を各サンプルラベルペアに統合する,ロジット分離性に基づくlicLを提案する。
  論文  参考訳（メタデータ） (2024-06-16T12:11:46Z)
• In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
  数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。 我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-02-02T06:57:53Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Self-Improving for Zero-Shot Named Entity Recognition with Large Language Models [16.16724411695959]
  この研究は、強力な大言語モデル(LLM)によるゼロショットNERのパフォーマンス境界を押し上げる。 LLMの自己学習能力を刺激するためにラベルのないコーパスを利用する、トレーニング不要な自己改善フレームワークを提案する。 4つのベンチマークの実験は、我々のフレームワークによって達成された大幅なパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2023-11-15T12:47:52Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。