論文の概要: Augmenting Biomedical Named Entity Recognition with General-domain Resources

• arxiv url: http://arxiv.org/abs/2406.10671v2
• Date: Tue, 18 Jun 2024 19:33:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 01:17:00.170511
• Title: Augmenting Biomedical Named Entity Recognition with General-domain Resources
• Title（参考訳）: 一般ドメインリソースを用いた生物医学的名前付きエンティティ認識の強化
• Authors: Yu Yin, Hyunjae Kim, Xiao Xiao, Chih Hsuan Wei, Jaewoo Kang, Zhiyong Lu, Hua Xu, Meng Fang, Qingyu Chen,
• Abstract要約: ニューラルネットワークに基づくバイオメディカル名前付きエンティティ認識(BioNER)モデルのトレーニングは通常、広範囲でコストのかかる人的アノテーションを必要とする。 GERBERAは、一般ドメインのNERデータセットをトレーニングに利用した、単純なyet効率の手法である。 我々は,81,410インスタンスからなる8つのエンティティタイプの5つのデータセットに対して,GERBERAを体系的に評価した。
• 参考スコア（独自算出の注目度）: 47.24727904076347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a neural network-based biomedical named entity recognition (BioNER) model usually requires extensive and costly human annotations. While several studies have employed multi-task learning with multiple BioNER datasets to reduce human effort, this approach does not consistently yield performance improvements and may introduce label ambiguity in different biomedical corpora. We aim to tackle those challenges through transfer learning from easily accessible resources with fewer concept overlaps with biomedical datasets. In this paper, we proposed GERBERA, a simple-yet-effective method that utilized a general-domain NER dataset for training. Specifically, we performed multi-task learning to train a pre-trained biomedical language model with both the target BioNER dataset and the general-domain dataset. Subsequently, we fine-tuned the models specifically for the BioNER dataset. We systematically evaluated GERBERA on five datasets of eight entity types, collectively consisting of 81,410 instances. Despite using fewer biomedical resources, our models demonstrated superior performance compared to baseline models trained with multiple additional BioNER datasets. Specifically, our models consistently outperformed the baselines in six out of eight entity types, achieving an average improvement of 0.9% over the best baseline performance across eight biomedical entity types sourced from five different corpora. Our method was especially effective in amplifying performance on BioNER datasets characterized by limited data, with a 4.7% improvement in F1 scores on the JNLPBA-RNA dataset.
• Abstract（参考訳）: ニューラルネットワークに基づくバイオメディカル名前付きエンティティ認識(BioNER)モデルのトレーニングは通常、広範囲でコストのかかる人的アノテーションを必要とする。 いくつかの研究では、複数のBioNERデータセットによるマルチタスク学習を用いて人的労力を削減しているが、この手法は一貫して性能改善をもたらしておらず、異なるバイオメディカルコーパスにラベルの曖昧さを導入する可能性がある。 我々は、バイオメディカルデータセットと重複する概念が少なく、容易にアクセス可能なリソースから移行学習することで、これらの課題に取り組むことを目指している。 本稿では,一般領域のNERデータセットをトレーニングに利用した,簡易なyet- Effective法であるGERBERAを提案する。 具体的には,対象のBioNERデータセットと一般ドメインデータセットの両方を用いて,トレーニング済みのバイオメディカル言語モデルをトレーニングするために,マルチタスク学習を行った。 その後、BioNERデータセット専用のモデルを微調整した。 我々は,81,410インスタンスからなる8つのエンティティタイプの5つのデータセットに対して,GERBERAを体系的に評価した。 バイオメディカルリソースは少ないが,BioNERデータセットを複数追加してトレーニングしたベースラインモデルに比べて優れた性能を示した。 具体的には,8つのエンティティタイプのうち6つのベースラインを一貫して上回り,5つの異なるコーパスから得られた8つのバイオメディカルエンティティタイプに対して,最高のベースライン性能よりも平均0.9%向上した。 JNLPBA-RNAデータセットではF1スコアが4.7%向上し,BioNERデータセットの性能向上に特に有効であった。

関連論文リスト

• BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
  BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
  論文  参考訳（メタデータ） (2024-04-29T05:40:08Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• BioREx: Improving Biomedical Relation Extraction by Leveraging Heterogeneous Datasets [7.7587371896752595]
  生物医学的関係抽出(RE)は、生物医学的自然言語処理(NLP)研究における中心的な課題である。 本稿では、個々のデータセットのデータの均一性を体系的に解決し、それらを大きなデータセットに組み合わせるための新しいフレームワークを提案する。 評価の結果,BioRExは個々のデータセットでトレーニングしたベンチマークシステムよりも大幅に高い性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-06-19T22:48:18Z)
• BiomedGPT: A Unified and Generalist Biomedical Generative Pre-trained Transformer for Vision, Language, and Multimodal Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• From Zero to Hero: Harnessing Transformers for Biomedical Named Entity Recognition in Zero- and Few-shot Contexts [0.0]
  本稿では,生物医学領域におけるゼロショットNERと少数ショットNERの手法を提案する。 我々は、ゼロショットNERが35.44%、ワンショットNERが50.10%、10ショットNERが69.94%、100ショットNERが79.51%の平均スコアを達成した。
  論文  参考訳（メタデータ） (2023-05-05T12:14:22Z)
• BioRED: A Comprehensive Biomedical Relation Extraction Dataset [6.915371362219944]
  我々は,複数の実体型と関係対を持つ第一種バイオメディカルREコーパスであるBioREDを提示する。 それぞれの関係を、新しい発見知識または以前に知られていた背景知識を記述するものとしてラベル付けし、自動化アルゴリズムが新規情報と背景情報を区別できるようにする。 以上の結果から,既存の手法は NER タスクでは高い性能が得られるが,RE タスクには多くの改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2022-04-08T19:23:49Z)
• BioADAPT-MRC: Adversarial Learning-based Domain Adaptation Improves Biomedical Machine Reading Comprehension Task [4.837365865245979]
  本稿では,生物医学機械読解作業のための逆学習に基づくドメイン適応フレームワークを提案する。 BioADAPT-MRCは、一般的なドメインデータセットとバイオメディカルドメインデータセットの間の限界分布の相違に対処するニューラルネットワークベースの手法である。
  論文  参考訳（メタデータ） (2022-02-26T16:14:27Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• BioALBERT: A Simple and Effective Pre-trained Language Model for Biomedical Named Entity Recognition [9.05154470433578]
  既存のBioNERアプローチはこれらの問題を無視し、最先端(SOTA)モデルを直接採用することが多い。 本稿では,大規模バイオメディカルコーパスを用いた効果的なドメイン固有言語モデルであるALBERTを提案する。
  論文  参考訳（メタデータ） (2020-09-19T12:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。