論文の概要: Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing

• arxiv url: http://arxiv.org/abs/2112.07869v1
• Date: Wed, 15 Dec 2021 04:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 13:37:30.330616
• Title: Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing
• Title（参考訳）: バイオメディカル自然言語処理のための大規模ニューラルネットワークモデル
• Authors: Robert Tinn, Hao Cheng, Yu Gu, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, Hoifung Poon
• Abstract要約: バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 55.52858954615655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivation: A perennial challenge for biomedical researchers and clinical practitioners is to stay abreast with the rapid growth of publications and medical notes. Natural language processing (NLP) has emerged as a promising direction for taming information overload. In particular, large neural language models facilitate transfer learning by pretraining on unlabeled text, as exemplified by the successes of BERT models in various NLP applications. However, fine-tuning such models for an end task remains challenging, especially with small labeled datasets, which are common in biomedical NLP. Results: We conduct a systematic study on fine-tuning stability in biomedical NLP. We show that finetuning performance may be sensitive to pretraining settings, especially in low-resource domains. Large models have potential to attain better performance, but increasing model size also exacerbates finetuning instability. We thus conduct a comprehensive exploration of techniques for addressing fine-tuning instability. We show that these techniques can substantially improve fine-tuning performance for lowresource biomedical NLP applications. Specifically, freezing lower layers is helpful for standard BERT-BASE models, while layerwise decay is more effective for BERT-LARGE and ELECTRA models. For low-resource text similarity tasks such as BIOSSES, reinitializing the top layer is the optimal strategy. Overall, domainspecific vocabulary and pretraining facilitate more robust models for fine-tuning. Based on these findings, we establish new state of the art on a wide range of biomedical NLP applications. Availability and implementation: To facilitate progress in biomedical NLP, we release our state-of-the-art pretrained and fine-tuned models: https://aka.ms/BLURB.
• Abstract（参考訳）: モチベーション: バイオメディカル研究者や臨床実践者にとっての長年にわたる挑戦は、出版物や医療記録の急速な成長に引き続き対応することである。 自然言語処理(NLP)は情報過負荷に対処するための有望な方向として登場した。 特に、大きなニューラルネットワークモデルは、様々なnlpアプリケーションにおけるbertモデルの成功の例のように、ラベルのないテキストを事前学習することで、転送学習を容易にする。 しかし、特にバイオメディカルNLPで一般的な小さなラベル付きデータセットでは、終末タスクのための微調整は依然として困難である。 結果: バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は,特に低リソース領域において,微調整性能が事前学習設定に敏感であることを示す。 大きなモデルはより良い性能を得る可能性があるが、モデルサイズの増加は微調整の不安定さを悪化させる。 そこで我々は,微調整不安定性に対処する手法を包括的に探究する。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。 具体的には、下層の凍結は標準的なBERT-BASEモデルに有効であり、層状崩壊はBERT-LARGEモデルとELECTRAモデルにより効果的である。 BIOSSESのような低リソースのテキスト類似性タスクでは、トップレイヤの再起動が最適な戦略です。 全体として、ドメイン固有の語彙と事前学習は、微調整のためのより堅牢なモデルを促進する。 これらの知見に基づいて,幅広い生物医学的NLP応用に新たな技術が確立されている。 可用性と実装: バイオメディカルNLPの進歩を促進するため、私たちは最先端のトレーニング済みおよび微調整されたモデルをリリースします。

関連論文リスト

• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition [0.0]
  大規模コーパス上での自己教師型設定で事前訓練された言語モデル(LM)を用いることで,ラベルデータに制限があるという問題に対処できる。 最近のバイオメディカル言語処理の研究は、多くのバイオメディカルLMを事前訓練した。 本稿では, バイオメディカル LM をスクラッチから事前訓練し, 継続的に事前訓練するなど, 様々な事前訓練方法を検討することを目的とする。
  論文  参考訳（メタデータ） (2023-08-16T18:48:01Z)
• Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
  本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。 知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。 評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
  論文  参考訳（メタデータ） (2023-02-09T16:07:31Z)
• Sparse*BERT: Sparse Models Generalize To New tasks and Domains [79.42527716035879]
  本稿では, 階層的非構造的マグニチュード・プルーニング(Gradual Unstructured Magnitude Pruning)を用いて, ドメイン間およびタスク間を移動可能なモデルについて検討する。 Sparse*BERTは、非構造化バイオメディカルテキスト上で圧縮されたアーキテクチャを事前学習することで、SparseBioBERTとなることを示す。
  論文  参考訳（メタデータ） (2022-05-25T02:51:12Z)
• Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
  大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
  論文  参考訳（メタデータ） (2022-05-11T14:25:13Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain [5.479164650793012]
  本稿では,GPT-3とBioBERTの2つの強力なトランスフォーマー言語モデルの性能について,生物医学的NLPタスクにおける数ショット設定で検討する。 GPT-3は、オープンドメインのNLPタスクにおける数発の知識伝達において、最先端の成果をすでに達成していたが、BioBERTほど効果的に実行できなかった。
  論文  参考訳（メタデータ） (2021-09-06T15:50:37Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。