論文の概要: MedicalBERT: enhancing biomedical natural language processing using pretrained BERT-based model

• arxiv url: http://arxiv.org/abs/2507.08013v2
• Date: Fri, 25 Jul 2025 04:44:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 14:14:27.285418
• Title: MedicalBERT: enhancing biomedical natural language processing using pretrained BERT-based model
• Title（参考訳）: MedicalBERT:事前学習BERTモデルを用いたバイオメディカル自然言語処理の強化
• Authors: K. Sahit Reddy, N. Ragavenderan, Vasanth K., Ganesh N. Naik, Vishalakshi Prabhu, Nagaraja G. S,
• Abstract要約: MedicalBERTは、大規模なバイオメディカルデータセットに基づいてトレーニングされた、事前訓練されたBERTモデルである。 生物医学用語の理解を深めるドメイン固有の語彙を備えている。 MedicalBERTは、評価されたすべてのタスクで、汎用BERTモデルを平均5.67%上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in natural language processing (NLP) have been driven bypretrained language models like BERT, RoBERTa, T5, and GPT. Thesemodels excel at understanding complex texts, but biomedical literature, withits domain-specific terminology, poses challenges that models likeWord2Vec and bidirectional long short-term memory (Bi-LSTM) can't fullyaddress. GPT and T5, despite capturing context, fall short in tasks needingbidirectional understanding, unlike BERT. Addressing this, we proposedMedicalBERT, a pretrained BERT model trained on a large biomedicaldataset and equipped with domain-specific vocabulary that enhances thecomprehension of biomedical terminology. MedicalBERT model is furtheroptimized and fine-tuned to address diverse tasks, including named entityrecognition, relation extraction, question answering, sentence similarity, anddocument classification. Performance metrics such as the F1-score,accuracy, and Pearson correlation are employed to showcase the efficiencyof our model in comparison to other BERT-based models such as BioBERT,SciBERT, and ClinicalBERT. MedicalBERT outperforms these models onmost of the benchmarks, and surpasses the general-purpose BERT model by5.67% on average across all the tasks evaluated respectively. This work alsounderscores the potential of leveraging pretrained BERT models for medicalNLP tasks, demonstrating the effectiveness of transfer learning techniques incapturing domain-specific information. (PDF) MedicalBERT: enhancing biomedical natural language processing using pretrained BERT-based model. Available from: https://www.researchgate.net/publication/392489050_MedicalBERT_enhancing_biomedical_natural_language _processing_using_pretrained_BERT-based_model [accessed Jul 06 2025].
• Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、BERT、RoBERTa、T5、GPTといった事前訓練された言語モデルによって推進されている。 これらのモデルは複雑なテキストを理解するのに優れていますが、バイオメディカル文献はドメイン固有の用語を伴い、Word2Vecや双方向長短期記憶(Bi-LSTM)のようなモデルが完全に適応できないという課題を引き起こします。 GPTとT5は、コンテキストをキャプチャしているにも関わらず、BERTとは異なり、双方向の理解を必要とするタスクでは不足している。 そこで本研究では,大規模なバイオメディカルデータセットをトレーニングした事前学習型BERTモデルであるMedicalBERTを提案し,バイオメディカル用語の理解を深めるドメイン固有語彙を導入した。 MedicalBERTモデルはさらに最適化され、名前付きエンティティ認識、関係抽出、質問応答、文類似性、文書分類など様々なタスクに対処するために微調整される。 F1スコア, 精度, ピアソン相関などの性能指標を用いて, BioBERT, SciBERT, ClinicalBERTなどの他のBERTモデルと比較して, モデルの有効性を示す。 MedicalBERTはこれらのモデルをほとんどのベンチマークで上回り、それぞれ評価された全てのタスクの平均で5.67%の汎用BERTモデルを上回っている。 この研究は、事前訓練されたBERTモデルを医療NLPタスクに活用する可能性も示しており、ドメイン固有の情報を取り込むトランスファーラーニング技術の有効性を実証している。 (PDF) MedicalBERT: 事前訓練されたBERTモデルを用いたバイオメディカル自然言語処理の強化。 https://www.researchgate.net/publication/392489050_MedicalBERT_enhancing_biomedical_natural_lang_pro cessing_using_pretrained_BERT-based_model [ accessed Jul 06 2025]

関連論文リスト

• CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data [1.1265248232450553]
  BERTライクなモデルによるトランスファーラーニングは、特に名前付きエンティティ認識において、フランス語に大きな進歩をもたらした。 我々は,フランスの生物医学モデルであるCamemBERT-bioを紹介した。 連続的な事前トレーニングを通じて、CamemBERT-bioは、様々な生物医学的名前付きエンティティ認識タスクで平均2.54ポイントのF1スコアを達成している。
  論文  参考訳（メタデータ） (2023-06-27T15:23:14Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining [117.56261821197741]
  ロシア語生物医学テキストマイニングのためのBERTベースのモデルをいくつか提示する。 これらのモデルは、ロシアの生物医学領域で自由に利用できるテキストのコーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2022-04-08T09:18:59Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Evaluating Biomedical BERT Models for Vocabulary Alignment at Scale in the UMLS Metathesaurus [8.961270657070942]
  現在のUMLS(Unified Medical Language System)メタテーザウルス構築プロセスは高価でエラーを起こしやすい。 自然言語処理の最近の進歩は、下流タスクにおける最先端(SOTA)のパフォーマンスを達成している。 BERTモデルを用いたアプローチがUMLSメタテーラスの同義語予測において,既存のアプローチよりも優れているかどうかを検証することを目的としている。
  論文  参考訳（メタデータ） (2021-09-14T16:52:16Z)
• A Hybrid Approach to Measure Semantic Relatedness in Biomedical Concepts [0.0]
  ELMo, BERT, Sentence BERTモデルを用いて概念優先項を符号化して概念ベクトルを生成した。 SNLIおよびSTSbデータセット上でSiameseネットワークを使用してすべてのBERTモデルをトレーニングし、モデルがセマンティック情報を学ぶことができるようにしました。 概念ベクトルにオントロジー知識を注入すると、その品質がさらに向上し、関連性のスコアが向上する。
  論文  参考訳（メタデータ） (2021-01-25T16:01:27Z)
• An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
  EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。 最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。 本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
  論文  参考訳（メタデータ） (2020-11-12T17:14:32Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Pre-training technique to localize medical BERT and enhance biomedical BERT [0.0]
  高品質で大容量のデータベースが公開されていないドメインでうまく機能する特定のBERTモデルを訓練することは困難である。 本稿では,アップサンプリングと増幅語彙の同時事前学習という,一つの選択肢による1つの介入を提案する。 我が国の医療用BERTは,医学文書分類タスクにおいて,従来のベースラインおよび他のBERTモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-05-14T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。