論文の概要: Do LLMs Surpass Encoders for Biomedical NER?

• arxiv url: http://arxiv.org/abs/2504.00664v1
• Date: Tue, 01 Apr 2025 11:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:55.645790
• Title: Do LLMs Surpass Encoders for Biomedical NER?
• Title（参考訳）: LLMはバイオメディカルNERのためのスサーパスエンコーダか?
• Authors: Motasem S Obeidat, Md Sultan Al Nahian, Ramakanth Kavuluru,
• Abstract要約: 生物医学的実体認識において,大規模言語モデルが優れているかを検討した。 以上の結果から,LLMはFスコアの2-8%で最良エンコーダモデルより2-8%優れていた。
• 参考スコア（独自算出の注目度）: 1.322225163050957
• License:
• Abstract: Recognizing spans of biomedical concepts and their types (e.g., drug or gene) in free text, often called biomedical named entity recognition (NER), is a basic component of information extraction (IE) pipelines. Without a strong NER component, other applications, such as knowledge discovery and information retrieval, are not practical. State-of-the-art in NER shifted from traditional ML models to deep neural networks with transformer-based encoder models (e.g., BERT) emerging as the current standard. However, decoder models (also called large language models or LLMs) are gaining traction in IE. But LLM-driven NER often ignores positional information due to the generative nature of decoder models. Furthermore, they are computationally very expensive (both in inference time and hardware needs). Hence, it is worth exploring if they actually excel at biomedical NER and assess any associated trade-offs (performance vs efficiency). This is exactly what we do in this effort employing the same BIO entity tagging scheme (that retains positional information) using five different datasets with varying proportions of longer entities. Our results show that the LLMs chosen (Mistral and Llama: 8B range) often outperform best encoder models (BERT-(un)cased, BiomedBERT, and DeBERTav3: 300M range) by 2-8% in F-scores except for one dataset, where they equal encoder performance. This gain is more prominent among longer entities of length >= 3 tokens. However, LLMs are one to two orders of magnitude more expensive at inference time and may need cost prohibitive hardware. Thus, when performance differences are small or real time user feedback is needed, encoder models might still be more suitable than LLMs.
• Abstract（参考訳）: バイオメディカルな概念とそのタイプ(例えば薬物や遺伝子)を自由テキストで認識することは、情報抽出(IE)パイプラインの基本的な構成要素である。 強力なNERコンポーネントがなければ、知識発見や情報検索といった他の応用は実用的ではない。 NERの最先端技術は、従来のMLモデルから、トランスフォーマーベースのエンコーダモデル(例えばBERT)が現在の標準として登場したディープニューラルネットワークに移行した。 しかし、デコーダモデル(大きな言語モデルまたはLLMとも呼ばれる)はIEで勢いを増している。 しかし、LLM駆動のNERはデコーダモデルの生成特性から位置情報を無視することが多い。 さらに、計算は非常に高価である(推論時間とハードウェアニーズの両方において)。 したがって、実際にバイオメディカルNERに精通し、関連するトレードオフ(パフォーマンス対効率)を評価する価値がある。 これはまさに、長いエンティティの比率の異なる5つの異なるデータセットを使用して、同じBIOエンティティタギングスキーム(位置情報を保持する)を使用する作業で、まさにこれを行います。 以上の結果から, LLM が選択した (Mistral and Llama: 8B range) は, 最良エンコーダモデル (BERT-(un)cased, BiomedBERT, DeBERTav3: 300M range) を, 1つのデータセットを除くFスコアで2-8%上回った。 この利得は、長さ >= 3 個のトークンの長いエンティティの中でより顕著である。 しかし、LSMは推論時に1～2桁のコストがかかり、高価なハードウェアを必要とする可能性がある。 したがって、パフォーマンスの違いが小さい場合やリアルタイムのユーザフィードバックが必要な場合、エンコーダモデルはLLMよりも適している。

関連論文リスト

• Great Memory, Shallow Reasoning: Limits of $k$NN-LMs [71.73611113995143]
  検索とnext-word予測を統合した$k$NN-LMsは、言語モデリングにおいて強力な性能を示している。 この改良された情報リコール能力が、本当に下流の能力に変換されるかどうかを問う。
  論文  参考訳（メタデータ） (2024-08-21T17:59:05Z)
• Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking [79.35822270532948]
  大規模言語モデル (LLM) から蒸留したクロスエンコーダは、手動でラベル付けされたデータに微調整されたクロスエンコーダよりも効果的であることが多い。 このギャップを埋めるために、新しいデータセットである Rank-DistiLLM を作成します。 Rank-DistiLLMでトレーニングされたクロスエンコーダは、最大173倍高速で24倍のメモリ効率を実現している。
  論文  参考訳（メタデータ） (2024-05-13T16:51:53Z)
• VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
  大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。 本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。 我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
  論文  参考訳（メタデータ） (2024-04-27T09:00:39Z)
• Larimar: Large Language Models with Episodic Memory Control [62.70727449128647]
  Larimarは、分散エピソードメモリで大規模言語モデルを拡張するための、脳にインスパイアされたアーキテクチャである。 複数のファクト編集ベンチマークの実験結果は、Larimarが最も競争力のあるベースラインに匹敵する精度を達成したことを示している。 本稿では,Larimarを用いた選択的事実認識,情報漏洩防止,入力コンテキスト長の一般化のためのメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:01:42Z)
• ParaTransCNN: Parallelized TransCNN Encoder for Medical Image Segmentation [7.955518153976858]
  本稿では,畳み込みニューラルネットワークとトランスフォーマーアーキテクチャを組み合わせた2次元特徴抽出手法を提案する。 特に小臓器では, セグメンテーションの精度が向上した。
  論文  参考訳（メタデータ） (2024-01-27T05:58:36Z)
• GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer [4.194768796374315]
  名前付きエンティティ認識(NER)は、様々な自然言語処理(NLP)アプリケーションに必須である。 本稿では,任意の種類のエンティティを識別するために訓練されたコンパクトなNERモデルを提案する。 我々のモデルであるGLiNERは、Large Language Models (LLM) の遅いシーケンシャルトークン生成に対するアドバンテージである並列エンティティ抽出を容易にする。
  論文  参考訳（メタデータ） (2023-11-14T20:39:12Z)
• Graph Neural Prompting with Large Language Models [32.97391910476073]
  Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。 複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-27T06:33:29Z)
• Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
  言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
  論文  参考訳（メタデータ） (2022-05-05T17:59:31Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• An Exploratory Study on Code Attention in BERT [8.488193857572211]
  コード上でのPLMの注意行動を調査し,それを自然言語と比較する。 BERT は NLP において最も注目されているトークンとは対照的に,特に識別子やセパレータといった構文上のエンティティに注意を払っている。 この発見は、NLPで使われる一般的な埋め込みを使わずに、コード固有の表現を使用することで、研究コミュニティの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2022-04-05T21:23:10Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。