論文の概要: Few-shot clinical entity recognition in English, French and Spanish: masked language models outperform generative model prompting

• arxiv url: http://arxiv.org/abs/2402.12801v2
• Date: Tue, 08 Oct 2024 11:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:28:35.417461
• Title: Few-shot clinical entity recognition in English, French and Spanish: masked language models outperform generative model prompting
• Title（参考訳）: 英語、フランス語、スペイン語における臨床的実体認識 : マスク付き言語モデルの方が生成モデルより優れている
• Authors: Marco Naguib, Xavier Tannier, Aurélie Névéol,
• Abstract要約: 大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて好まれるソリューションとなっている。 本研究は, 数発のNERに対して, 即発的な工学的手法を用いて, 生成性LLMを評価することを目的とする。 我々は、英語、フランス語、スペイン語をカバーする14のNERデータセットを微調整し、プロンプトを用いた13の自己回帰モデルと16のマスキングモデルを比較した。 プロンプトベースの自己回帰モデルは一般的なNERの競合F1を達成するが、マスクモデルに基づくより軽いbiLSTM-CRFタグにより臨床領域内では優れる。
• 参考スコア（独自算出の注目度）: 4.832840259029653
• License:
• Abstract: Large language models (LLMs) have become the preferred solution for many natural language processing tasks. In low-resource environments such as specialized domains, their few-shot capabilities are expected to deliver high performance. Named Entity Recognition (NER) is a critical task in information extraction that is not covered in recent LLM benchmarks. There is a need for better understanding the performance of LLMs for NER in a variety of settings including languages other than English. This study aims to evaluate generative LLMs, employed through prompt engineering, for few-shot clinical NER. %from the perspective of F1 performance and environmental impact. We compare 13 auto-regressive models using prompting and 16 masked models using fine-tuning on 14 NER datasets covering English, French and Spanish. While prompt-based auto-regressive models achieve competitive F1 for general NER, they are outperformed within the clinical domain by lighter biLSTM-CRF taggers based on masked models. Additionally, masked models exhibit lower environmental impact compared to auto-regressive models. Findings are consistent across the three languages studied, which suggests that LLM prompting is not yet suited for NER production in the clinical domain.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて好まれるソリューションとなっている。 特殊なドメインのような低リソース環境では、その少数ショット機能によって高いパフォーマンスが期待できる。 名前付きエンティティ認識(NER)は、最近のLLMベンチマークではカバーされていない情報抽出において重要なタスクである。 英語以外の言語を含む様々な設定で、NERのためのLLMのパフォーマンスをよりよく理解する必要がある。 本研究は, 数発のNERに対して, 即発的な工学的手法を用いて, 生成性LLMを評価することを目的とする。 %であった。 我々は、英語、フランス語、スペイン語をカバーする14のNERデータセットを微調整し、プロンプトを用いた13の自己回帰モデルと16のマスキングモデルを比較した。 プロンプトベースの自己回帰モデルは一般的なNERの競合F1を達成するが、マスクモデルに基づくより軽いbiLSTM-CRFタグにより臨床領域内では優れる。 さらに、マスク付きモデルは自己回帰モデルに比べて環境への影響が低い。 LLMプロンプトは臨床領域でのNER産生にはまだ適していないことが示唆される。

関連論文リスト

• GEIC: Universal and Multilingual Named Entity Recognition with Large Language Models [7.714969840571947]
  ジェネレーションベース抽出とテキスト内分類(GEIC)の課題について紹介する。 次に,多言語GEICフレームワークであるCascadeNERを提案する。 我々はまた、Large Language Models(LLMs)用に特別に設計された最初のNERデータセットであるAnythingNERを紹介します。
  論文  参考訳（メタデータ） (2024-09-17T09:32:12Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
  多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。 高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-14T00:43:33Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain [14.635536657783613]
  本研究の目的は、医療領域における100%Few-shot NERのLMのパフォーマンスを比較して、医療領域における100%Few-shot NERのLMのパフォーマンスについて答えることである。 以上の結果から, LLMは, 適切な例や適切な論理的枠組みの存在から, 数発のNERタスクにおいてSLMよりも優れていたことが示唆された。 本研究では, 検索者, 関連事例, 思考者として機能し, ステップ・バイ・ステップの推論プロセスを採用する,textscRT (Retrieving and Thinking) という, シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T01:18:09Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• MEGA: Multilingual Evaluation of Generative AI [23.109803506475174]
  生成AIモデルは、多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。 LLMのほとんどの研究は英語に限られている。 これらのモデルが、他の言語でのテキストの理解と生成にどの程度の能力があるかは定かではない。
  論文  参考訳（メタデータ） (2023-03-22T13:03:10Z)
• MicroBERT: Effective Training of Low-resource Monolingual BERTs through Parameter Reduction and Multitask Learning [12.640283469603357]
  トランスフォーマー言語モデル(TLM)は、ほとんどのNLPタスクには必須であるが、必要な事前学習データが多いため、低リソース言語では作成が困難である。 本研究では,低リソース環境下でモノリンガルなTLMを訓練する2つの手法について検討する。 7つの多様な言語から得られた結果から,私たちのモデルであるMicroBERTは,典型的なモノリンガルなTLM事前学習手法と比較して,下流タスク評価において顕著な改善を達成できたことが示唆された。
  論文  参考訳（メタデータ） (2022-12-23T18:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。