Fugu-MT 論文翻訳(概要): An Experimental Evaluation of Transformer-based Language Models in the Biomedical Domain

論文の概要: An Experimental Evaluation of Transformer-based Language Models in the Biomedical Domain

arxiv url: http://arxiv.org/abs/2012.15419v1
Date: Thu, 31 Dec 2020 03:09:38 GMT
ステータス: 処理完了
システム内更新日: 2021-04-18 03:53:33.055929
Title: An Experimental Evaluation of Transformer-based Language Models in the Biomedical Domain
Title（参考訳）: 生体領域におけるトランスフォーマー言語モデルの実験的評価
Authors: Paul Grouchy, Shobhit Jain, Michael Liu, Kuhan Wang, Max Tian, Nidhi Arora, Hillary Ngai, Faiza Khan Khattak, Elham Dolatabadi, Sedef Akinli Kocak
Abstract要約: 本稿では,BioBERTの複製実験と,バイオメディカル領域における事前学習と微調整について概説する。また、下流の生物医学的NLPタスクにおけるドメイン固有およびドメイン非依存の事前訓練モデルの有効性についても検討する。
参考スコア（独自算出の注目度）: 0.984441002699829
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the growing amount of text in health data, there have been rapid advances in large pre-trained models that can be applied to a wide variety of biomedical tasks with minimal task-specific modifications. Emphasizing the cost of these models, which renders technical replication challenging, this paper summarizes experiments conducted in replicating BioBERT and further pre-training and careful fine-tuning in the biomedical domain. We also investigate the effectiveness of domain-specific and domain-agnostic pre-trained models across downstream biomedical NLP tasks. Our finding confirms that pre-trained models can be impactful in some downstream NLP tasks (QA and NER) in the biomedical domain; however, this improvement may not justify the high cost of domain-specific pre-training.
Abstract（参考訳）: 健康データにおけるテキスト量の増大に伴い、タスク固有の修正を最小限に抑えた幅広いバイオメディカルタスクに適用可能な、大規模事前訓練モデルの急速な進歩があった。本稿では,BioBERTの複製実験と,バイオメディカル領域における事前学習および注意深い微調整実験をまとめた。また、下流バイオメディカルNLPタスクにおけるドメイン固有およびドメイン非依存の事前訓練モデルの有効性について検討した。バイオメディカル領域のNLPタスク(QA,NER)において,事前学習モデルが影響があることが確認されたが,この改善はドメイン固有の事前学習の高コストを正当化するものではない。

関連論文リスト

Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling [3.8599767910528917]
本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。 BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
論文参考訳（メタデータ） (2023-12-24T21:45:36Z)
BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition [0.0]
大規模コーパス上での自己教師型設定で事前訓練された言語モデル(LM)を用いることで,ラベルデータに制限があるという問題に対処できる。最近のバイオメディカル言語処理の研究は、多くのバイオメディカルLMを事前訓練した。本稿では, バイオメディカル LM をスクラッチから事前訓練し, 継続的に事前訓練するなど, 様々な事前訓練方法を検討することを目的とする。
論文参考訳（メタデータ） (2023-08-16T18:48:01Z)
BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
論文参考訳（メタデータ） (2023-05-26T17:14:43Z)
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2021-12-15T04:20:35Z)
Multi-Task Prediction of Clinical Outcomes in the Intensive Care Unit using Flexible Multimodal Transformers [4.836546574465437]
フレキシブルトランスフォーマーベースのEHR埋め込みパイプラインと予測モデルフレームワークを提案する。集中治療室におけるフレキシブルデザインの実現可能性について検討した。
論文参考訳（メタデータ） (2021-11-09T21:46:11Z)
Recognising Biomedical Names: Challenges and Solutions [9.51284672475743]
本稿では,不連続な言及を認識可能な遷移ベースNERモデルを提案する。また、適切な事前学習データを通知する費用対効果のアプローチも開発している。我々の貢献は、特に新しいバイオメディカル・アプリケーションが必要な場合に、明らかな実践的意味を持つ。
論文参考訳（メタデータ） (2021-06-23T08:20:13Z)
Domain Generalization on Medical Imaging Classification using Episodic Training with Task Augmentation [62.49837463676111]
本稿では,医用画像分類におけるタスク強化によるエピソードトレーニングの新たな手法を提案する。実際の医療展開において、限られた数のソースドメインによって動機付けられ、ユニークなタスクレベルのオーバーフィッティングを検討します。
論文参考訳（メタデータ） (2021-06-13T03:56:59Z)
Unsupervised Pre-training for Biomedical Question Answering [32.525495687236194]
バイオメディカル・エンティティの文脈における推論を目的としたラベルなしデータから,新たな事前学習タスクを導入する。実験の結果,提案した事前学習課題におけるBioBERTの事前学習が性能を著しく向上させ,第7回BioASQタスク7b-Phase Bの課題よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-09-27T21:07:51Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。