論文の概要: Few shot clinical entity recognition in three languages: Masked language
models outperform LLM prompting
- arxiv url: http://arxiv.org/abs/2402.12801v1
- Date: Tue, 20 Feb 2024 08:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 16:18:36.161130
- Title: Few shot clinical entity recognition in three languages: Masked language
models outperform LLM prompting
- Title（参考訳）: 3つの言語における臨床的実体認識 : マスケッド言語モデルによるLCMプロンプトの向上
- Authors: Marco Naguib, Xavier Tannier, Aur\'elie N\'ev\'eol
- Abstract要約: 我々は,英語,フランス語,スペイン語で,ドメイン内(クリニカル)8個とアウトドメイン金標準コーパス6個を用いて,名前付きエンティティ認識を評価した。
100文に注釈付きデータの量を制限することで、数ショットのセットアップを作成します。
以上の結果から,より大型のプロンプトベースモデルでは,臨床領域外における名前付き実体認識のF値の競合が期待できる傾向にあるが,このレベルが臨床領域に及ばないことが明らかとなった。
- 参考スコア（独自算出の注目度）: 2.3357645240384874
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models are becoming the go-to solution for many natural
language processing tasks, including in specialized domains where their
few-shot capacities are expected to yield high performance in low-resource
settings. Herein, we aim to assess the performance of Large Language Models for
few shot clinical entity recognition in multiple languages. We evaluate named
entity recognition in English, French and Spanish using 8 in-domain (clinical)
and 6 out-domain gold standard corpora. We assess the performance of 10
auto-regressive language models using prompting and 16 masked language models
used for text encoding in a biLSTM-CRF supervised tagger. We create a few-shot
set-up by limiting the amount of annotated data available to 100 sentences. Our
experiments show that although larger prompt-based models tend to achieve
competitive F-measure for named entity recognition outside the clinical domain,
this level of performance does not carry over to the clinical domain where
lighter supervised taggers relying on masked language models perform better,
even with the performance drop incurred from the few-shot set-up. In all
experiments, the CO2 impact of masked language models is inferior to that of
auto-regressive models. Results are consistent over the three languages and
suggest that few-shot learning using Large language models is not production
ready for named entity recognition in the clinical domain. Instead, models
could be used for speeding-up the production of gold standard annotated data.
- Abstract（参考訳）: 大規模言語モデルは、少数のショット能力が低リソース環境で高いパフォーマンスを期待される特殊なドメインを含む、多くの自然言語処理タスクのゴーツーソリューションになりつつある。
本稿では,多言語での臨床エンティティ認識を行う場合の大規模言語モデルの性能を評価することを目的とした。
英語,フランス語,スペイン語で名前付きエンティティ認識を8個のin-domain (clinical) と6個のout-domain gold標準コーパスを用いて評価した。
テキストエンコーディングに使用されるプロンプトと16個のマスク付き言語モデルを用いて,biLSTM-CRF教師付きタグを用いた10個の自動回帰言語モデルの性能を評価する。
100文に注釈付きデータの量を制限することで、数ショットのセットアップを作成します。
以上の結果から,より大規模なプロンプトベースモデルでは,臨床領域外において名前付きエンティティ認識のためのF尺度の競争性が向上する傾向にあるが,このレベルは,マスク付き言語モデルに依存した軽い教師付きタグが,数発のセットアップによる性能低下を伴っても,臨床領域に留まらないことが明らかとなった。
全ての実験において、マスキング言語モデルのCO2の影響は自己回帰モデルよりも劣っている。
結果は3つの言語に一貫したものであり、臨床領域における名前付きエンティティ認識のための大規模言語モデルを用いた少数ショット学習が生産可能でないことを示唆している。
代わりに、モデルはゴールド標準のアノテートデータの生産を高速化するために使用できる。
関連論文リスト
- Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。
低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。
本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
論文 参考訳（メタデータ） (2025-01-31T12:23:28Z) - LLMic: Romanian Foundation Language Model [76.09455151754062]
ルーマニア語に特化して設計された基礎言語モデルである LLMic について述べる。
英語からルーマニア語への翻訳作業において,事前学習後の言語翻訳のための微調整 LLMic が既存の解よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-01-13T22:14:45Z) - How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario [72.02391485962127]
音声認識(ASR)における音声自己監視学習(SSL)モデルの性能向上
低リソース言語 ASR では、事前訓練された言語と低リソース言語のドメインミスマッチ問題に遭遇する。
これらの問題に対処するためのアダプタに基づく従来型の効率的な微調整手法を拡張した。
論文 参考訳（メタデータ） (2024-11-27T10:51:00Z) - GEIC: Universal and Multilingual Named Entity Recognition with Large Language Models [7.714969840571947]
ジェネレーションベース抽出とテキスト内分類(GEIC)の課題について紹介する。
次に,多言語GEICフレームワークであるCascadeNERを提案する。
我々はまた、Large Language Models(LLMs)用に特別に設計された最初のNERデータセットであるAnythingNERを紹介します。
論文 参考訳（メタデータ） (2024-09-17T09:32:12Z) - Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。
我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。
Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
論文 参考訳（メタデータ） (2024-07-04T15:14:17Z) - ProxyLM: Predicting Language Model Performance on Multilingual Tasks via Proxy Models [9.710960283117771]
ProxyLMは、プロキシモデルを用いてLMのパフォーマンスを予測するために設計されたタスクおよび言語に依存しないフレームワークである。
ProxyLMはタスク評価の計算オーバーヘッドを大幅に減らし、従来の手法よりも37.08倍の高速化を実現した。
この結果から, ProxyLM は事前学習した LM の未確認言語に適応するだけでなく,異なるデータセットに対して効果的に一般化できることが示された。
論文 参考訳（メタデータ） (2024-06-13T17:15:33Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain [14.635536657783613]
本研究の目的は、医療領域における100%Few-shot NERのLMのパフォーマンスを比較して、医療領域における100%Few-shot NERのLMのパフォーマンスについて答えることである。
以上の結果から, LLMは, 適切な例や適切な論理的枠組みの存在から, 数発のNERタスクにおいてSLMよりも優れていたことが示唆された。
本研究では, 検索者, 関連事例, 思考者として機能し, ステップ・バイ・ステップの推論プロセスを採用する,textscRT (Retrieving and Thinking) という, シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2023-07-01T01:18:09Z) - Extrapolating Multilingual Understanding Models as Multilingual
Generators [82.1355802012414]
本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。
少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:33:21Z) - MEGA: Multilingual Evaluation of Generative AI [23.109803506475174]
生成AIモデルは、多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。
LLMのほとんどの研究は英語に限られている。
これらのモデルが、他の言語でのテキストの理解と生成にどの程度の能力があるかは定かではない。
論文 参考訳（メタデータ） (2023-03-22T13:03:10Z) - MicroBERT: Effective Training of Low-resource Monolingual BERTs through
Parameter Reduction and Multitask Learning [12.640283469603357]
トランスフォーマー言語モデル(TLM)は、ほとんどのNLPタスクには必須であるが、必要な事前学習データが多いため、低リソース言語では作成が困難である。
本研究では,低リソース環境下でモノリンガルなTLMを訓練する2つの手法について検討する。
7つの多様な言語から得られた結果から,私たちのモデルであるMicroBERTは,典型的なモノリンガルなTLM事前学習手法と比較して,下流タスク評価において顕著な改善を達成できたことが示唆された。
論文 参考訳（メタデータ） (2022-12-23T18:18:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。