論文の概要: Recognising Biomedical Names: Challenges and Solutions
- arxiv url: http://arxiv.org/abs/2106.12230v1
- Date: Wed, 23 Jun 2021 08:20:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-24 21:28:06.859175
- Title: Recognising Biomedical Names: Challenges and Solutions
- Title（参考訳）: バイオメディカルネームの認識:課題と解決
- Authors: Xiang Dai
- Abstract要約: 本稿では,不連続な言及を認識可能な遷移ベースNERモデルを提案する。
また、適切な事前学習データを通知する費用対効果のアプローチも開発している。
我々の貢献は、特に新しいバイオメディカル・アプリケーションが必要な場合に、明らかな実践的意味を持つ。
- 参考スコア（独自算出の注目度）: 9.51284672475743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growth rate in the amount of biomedical documents is staggering.
Unlocking information trapped in these documents can enable researchers and
practitioners to operate confidently in the information world. Biomedical NER,
the task of recognising biomedical names, is usually employed as the first step
of the NLP pipeline. Standard NER models, based on sequence tagging technique,
are good at recognising short entity mentions in the generic domain. However,
there are several open challenges of applying these models to recognise
biomedical names: 1) Biomedical names may contain complex inner structure
(discontinuity and overlapping) which cannot be recognised using standard
sequence tagging technique; 2) The training of NER models usually requires
large amount of labelled data, which are difficult to obtain in the biomedical
domain; and, 3) Commonly used language representation models are pre-trained on
generic data; a domain shift therefore exists between these models and target
biomedical data. To deal with these challenges, we explore several research
directions and make the following contributions: 1) we propose a
transition-based NER model which can recognise discontinuous mentions; 2) We
develop a cost-effective approach that nominates the suitable pre-training
data; and, 3) We design several data augmentation methods for NER. Our
contributions have obvious practical implications, especially when new
biomedical applications are needed. Our proposed data augmentation methods can
help the NER model achieve decent performance, requiring only a small amount of
labelled data. Our investigation regarding selecting pre-training data can
improve the model by incorporating language representation models, which are
pre-trained using in-domain data. Finally, our proposed transition-based NER
model can further improve the performance by recognising discontinuous
mentions.
- Abstract（参考訳）: 生物医学的な文書の量の増加率は驚異的だ。
これらの文書に閉じ込められた情報をアンロックすることで、研究者や実践者は情報の世界において確実に操作できる。
バイオメディカルNERは、通常、NLPパイプラインの最初のステップとして用いられる。
シーケンシャルタグ技術に基づく標準NERモデルは、ジェネリックドメインにおける短いエンティティ参照を認識するのに長けている。
However, there are several open challenges of applying these models to recognise biomedical names: 1) Biomedical names may contain complex inner structure (discontinuity and overlapping) which cannot be recognised using standard sequence tagging technique; 2) The training of NER models usually requires large amount of labelled data, which are difficult to obtain in the biomedical domain; and, 3) Commonly used language representation models are pre-trained on generic data; a domain shift therefore exists between these models and target biomedical data.
1) 不連続な言及を認識可能なトランジッションベースのnerモデルを提案し, 2) 適切な事前学習データを生成するためのコスト効率の高いアプローチを開発し,3) nerのためのデータ拡張手法をいくつか設計する。
我々の貢献は、特に新しいバイオメディカル・アプリケーションが必要な場合に、明らかな実践的意味を持つ。
提案手法は,少ないラベル付きデータしか必要とせず,NERモデルの良好な性能を実現するのに有効である。
事前学習データの選択に関する調査は、ドメイン内データを用いて事前学習した言語表現モデルを組み込むことで、モデルを改善することができる。
最後に,提案する遷移型nerモデルは,不連続な言及を認識することにより,さらに性能を向上させることができる。
関連論文リスト
- Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - Multi-level biomedical NER through multi-granularity embeddings and
enhanced labeling [3.8599767910528917]
本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。
BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。
我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
論文 参考訳（メタデータ） (2023-12-24T21:45:36Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳（メタデータ） (2023-12-21T14:26:57Z) - BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。
本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
論文 参考訳（メタデータ） (2023-05-26T17:14:43Z) - From Zero to Hero: Harnessing Transformers for Biomedical Named Entity Recognition in Zero- and Few-shot Contexts [0.0]
本稿では,生物医学領域におけるゼロショットNERと少数ショットNERの手法を提案する。
我々は、ゼロショットNERが35.44%、ワンショットNERが50.10%、10ショットNERが69.94%、100ショットNERが79.51%の平均スコアを達成した。
論文 参考訳（メタデータ） (2023-05-05T12:14:22Z) - Fine-Tuning Large Neural Language Models for Biomedical Natural Language
Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。
我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。
これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2021-12-15T04:20:35Z) - Biomedical Interpretable Entity Representations [40.6095537182194]
事前訓練された言語モデルは、エンティティ中心のNLPタスクに強力なパフォーマンスを提供する密度の高いエンティティ表現を誘導する。
これは、バイオメディシンのような重要な領域における取り込みをモデル化するための障壁となる。
我々は、バイオメディカルテキストの大規模なコーパスから、新しいエンティティ型システムとトレーニングセットを作成する。
論文 参考訳（メタデータ） (2021-06-17T13:52:10Z) - How Do Your Biomedical Named Entity Models Generalize to Novel Entities? [17.83980569600546]
記憶, 同義語一般化, 概念一般化の3種類のBioNERモデルの認識能力を解析する。
1)BioNERモデルは、その一般化能力の観点から過大評価され、(2)データセットバイアスを利用する傾向があり、これはモデルが一般化する能力を妨げる。
提案手法は,5つのベンチマークデータセット上での最先端(SOTA)モデルの一般化性を常に改善し,未確認のエンティティ参照に対してより優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-01-01T04:13:42Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - BioALBERT: A Simple and Effective Pre-trained Language Model for
Biomedical Named Entity Recognition [9.05154470433578]
既存のBioNERアプローチはこれらの問題を無視し、最先端(SOTA)モデルを直接採用することが多い。
本稿では,大規模バイオメディカルコーパスを用いた効果的なドメイン固有言語モデルであるALBERTを提案する。
論文 参考訳（メタデータ） (2020-09-19T12:58:47Z) - Domain-Specific Language Model Pretraining for Biomedical Natural
Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。
実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文 参考訳（メタデータ） (2020-07-31T00:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。