論文の概要: Pre-training technique to localize medical BERT and enhance biomedical BERT

• arxiv url: http://arxiv.org/abs/2005.07202v3
• Date: Thu, 25 Feb 2021 07:00:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 05:05:57.911072
• Title: Pre-training technique to localize medical BERT and enhance biomedical BERT
• Title（参考訳）: 医療用BERTのローカライズとバイオメディカルBERTの強化のための事前トレーニング技術
• Authors: Shoya Wada, Toshihiro Takeda, Shiro Manabe, Shozo Konishi, Jun Kamohara, and Yasushi Matsumura
• Abstract要約: 高品質で大容量のデータベースが公開されていないドメインでうまく機能する特定のBERTモデルを訓練することは困難である。 本稿では,アップサンプリングと増幅語彙の同時事前学習という,一つの選択肢による1つの介入を提案する。 我が国の医療用BERTは,医学文書分類タスクにおいて,従来のベースラインおよび他のBERTモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training large-scale neural language models on raw texts has made a significant contribution to improving transfer learning in natural language processing (NLP). With the introduction of transformer-based language models, such as bidirectional encoder representations from transformers (BERT), the performance of information extraction from a free text by NLP has significantly improved for both the general domain and medical domain; however, it is difficult to train specific BERT models that perform well for domains in which there are few publicly available databases of high quality and large size. We hypothesized that this problem can be addressed by up-sampling a domain-specific corpus and using it for pre-training with a larger corpus in a balanced manner. Our proposed method consists of a single intervention with one option: simultaneous pre-training after up-sampling and amplified vocabulary. We conducted three experiments and evaluated the resulting products. We confirmed that our Japanese medical BERT outperformed conventional baselines and the other BERT models in terms of the medical document classification task and that our English BERT pre-trained using both the general and medical-domain corpora performed sufficiently well for practical use in terms of the biomedical language understanding evaluation (BLUE) benchmark. Moreover, our enhanced biomedical BERT model, in which clinical notes were not used during pre-training, showed that both the clinical and biomedical scores of the BLUE benchmark were 0.3 points above that of the ablation model trained without our proposed method. Well-balanced pre-training by up-sampling instances derived from a corpus appropriate for the target task allows us to construct a high-performance BERT model.
• Abstract（参考訳）: 原文を用いた大規模ニューラルネットワークモデルの事前学習は,自然言語処理(NLP)における伝達学習の改善に大きく貢献している。 変換器(BERT)からの双方向エンコーダ表現などのトランスフォーマーベース言語モデルの導入により、NLPによる自由テキストからの情報抽出の性能は、一般ドメインと医療ドメインの両方で大幅に改善されているが、高品質で大規模のデータベースがほとんど存在しない領域でよく機能する特定のBERTモデルを訓練することは困難である。 我々は、ドメイン固有のコーパスをアップサンプリングし、より大きなコーパスをバランスよく事前トレーニングすることで、この問題に対処できると仮定した。 提案手法は,アップサンプリング後の事前学習と増幅語彙の同時学習という1つの選択肢からなる。 3つの実験を行い,製品の評価を行った。 医療用bertは,医療用文書分類タスクにおいて従来のベースラインや他のbertモデルよりも優れており,一般および医療用ドメインコーパスを用いて事前学習した英語bertは,生物医学的言語理解評価(blue)ベンチマークにおいて実用上十分な性能を示した。 また, プレトレーニング中に臨床ノートを使用しない拡張生体医学的bertモデルでは, ブルーベンチマークの臨床的, 生体医学的スコアは, 提案法を使わずにトレーニングしたアブレーションモデルよりも0.3点高い値を示した。 目標タスクに適したコーパスから抽出したアップサンプリングインスタンスによる事前訓練により,高性能なBERTモデルを構築することができる。

関連論文リスト

• Pre-training data selection for biomedical domain adaptation using journal impact metrics [0.0]
  我々は, PubMed トレーニングセットの各種サブセット上で, BERT を継続的に事前学習することにより, 雑誌のインパクト測定と実験を行う。 本研究の結果から,ジャーナルインパクトメトリクスを用いたプルーニングは効率的ではないことが示唆された。しかし,より少ない抽象度を用いた事前学習(ただし,同じ数のトレーニングステップで)は,必ずしも結果のモデルの性能を低下させるわけではない。
  論文  参考訳（メタデータ） (2024-09-04T13:59:48Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition [0.0]
  大規模コーパス上での自己教師型設定で事前訓練された言語モデル(LM)を用いることで,ラベルデータに制限があるという問題に対処できる。 最近のバイオメディカル言語処理の研究は、多くのバイオメディカルLMを事前訓練した。 本稿では, バイオメディカル LM をスクラッチから事前訓練し, 継続的に事前訓練するなど, 様々な事前訓練方法を検討することを目的とする。
  論文  参考訳（メタデータ） (2023-08-16T18:48:01Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Evaluating Biomedical BERT Models for Vocabulary Alignment at Scale in the UMLS Metathesaurus [8.961270657070942]
  現在のUMLS(Unified Medical Language System)メタテーザウルス構築プロセスは高価でエラーを起こしやすい。 自然言語処理の最近の進歩は、下流タスクにおける最先端(SOTA)のパフォーマンスを達成している。 BERTモデルを用いたアプローチがUMLSメタテーラスの同義語予測において,既存のアプローチよりも優れているかどうかを検証することを目的としている。
  論文  参考訳（メタデータ） (2021-09-14T16:52:16Z)
• Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario [0.05277024349608833]
  本研究は, 異なる事前学習選択を実験することにより, スペイン語の生物医学的, 臨床的言語モデルを示す。 モデルをスクラッチからトレーニングするための十分な臨床データがないため,混合ドメイン事前訓練法とクロスドメイン移行法を適用し,優れたバイオクリニカルモデルを構築した。
  論文  参考訳（メタデータ） (2021-09-08T12:12:07Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。