論文の概要: BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model

• arxiv url: http://arxiv.org/abs/2204.03905v1
• Date: Fri, 8 Apr 2022 08:07:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 12:41:17.466251
• Title: BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model
• Title（参考訳）: biobart: 生物医学的生成言語モデルの事前学習と評価
• Authors: Hongyi Yuan, Zheng Yuan, Ruyi Gan, Jiaxing Zhang, Yutao Xie and Sheng Yu
• Abstract要約: 本稿では,BARTをバイオメディカル領域に適応させる生成言語モデルBioBARTを紹介する。 我々は、対話、要約、エンティティリンク、名前付きエンティティ認識など、様々なバイオメディカル言語生成タスクを照合する。 PubMedの抽象化で事前訓練されたBioBARTは、BARTと比較してパフォーマンスが向上し、いくつかのタスクに強いベースラインが設定されている。
• 参考スコア（独自算出の注目度）: 1.1764594853212893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models have served as important backbones for natural language processing. Recently, in-domain pretraining has been shown to benefit various domain-specific downstream tasks. In the biomedical domain, natural language generation (NLG) tasks are of critical importance, while understudied. Approaching natural language understanding (NLU) tasks as NLG achieves satisfying performance in the general domain through constrained language generation or language prompting. We emphasize the lack of in-domain generative language models and the unsystematic generative downstream benchmarks in the biomedical domain, hindering the development of the research community. In this work, we introduce the generative language model BioBART that adapts BART to the biomedical domain. We collate various biomedical language generation tasks including dialogue, summarization, entity linking, and named entity recognition. BioBART pretrained on PubMed abstracts has enhanced performance compared to BART and set strong baselines on several tasks. Furthermore, we conduct ablation studies on the pretraining tasks for BioBART and find that sentence permutation has negative effects on downstream tasks.
• Abstract（参考訳）: 事前訓練された言語モデルは、自然言語処理の重要なバックボーンとして機能している。 近年、ドメイン内プリトレーニングは様々なドメイン固有のダウンストリームタスクに役立つことが示されている。 バイオメディカル領域では、自然言語生成(NLG)タスクが重要であり、検討されている。 NLGとしての自然言語理解(NLU)タスクへのアプローチは、制約付き言語生成や言語プロンプトを通じて、一般的なドメインのパフォーマンスを満足させる。 我々は、生物医学領域におけるドメイン内生成言語モデルと非体系的生成下流ベンチマークの欠如を強調し、研究コミュニティの発展を妨げる。 本稿では,BARTを生物医学領域に適応させる生成言語モデルBioBARTを紹介する。 対話,要約,エンティティリンク,名前付きエンティティ認識など,様々な生物医学的言語生成タスクを協調させる。 PubMedの抽象化で事前訓練されたBioBARTは、BARTと比較してパフォーマンスを向上し、いくつかのタスクに強いベースラインを設定している。 さらに,BioBARTの事前学習タスクに関するアブレーション研究を行い,文置換が下流タスクに悪影響を及ぼすことを見出した。

関連論文リスト

• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Biomedical Language Models are Robust to Sub-optimal Tokenization [30.175714262031253]
  現代のバイオメディカル言語モデル(LM)は、標準的なドメイン固有のトークン化器を用いて事前訓練されている。 より正確なバイオメディカルトークン化器を用いたバイオメディカルLMの事前トレーニングでは,言語モデルの実体表現品質が向上しないことがわかった。
  論文  参考訳（メタデータ） (2023-06-30T13:35:24Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining [117.56261821197741]
  ロシア語生物医学テキストマイニングのためのBERTベースのモデルをいくつか提示する。 これらのモデルは、ロシアの生物医学領域で自由に利用できるテキストのコーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2022-04-08T09:18:59Z)
• Pre-trained Language Models in Biomedical Domain: A Systematic Survey [33.572502204216256]
  プレトレーニング言語モデル(PLM)は、ほとんどの自然言語処理(NLP)タスクのデファクトパラダイムである。 本稿では,生物医学領域における事前学習言語モデルの最近の進歩とその生物医学的下流タスクへの応用について要約する。
  論文  参考訳（メタデータ） (2021-10-11T05:30:30Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking [66.76141128555099]
  言語横断型バイオメディカルエンティティリンクタスク(XL-BEL)を提案する。 まず、標準単言語英語BELタスクを超えて、標準単言語および多言語LMと同様に、標準的な知識に依存しない能力について検討する。 次に、リソースに富んだ言語からリソースに乏しい言語にドメイン固有の知識を移すことの課題に対処する。
  論文  参考訳（メタデータ） (2021-05-30T00:50:00Z)
• BioMegatron: Larger Biomedical Domain Language Model [10.861369276414525]
  ドメイン言語アプリケーションの性能に影響を与えるいくつかの要因について検討し、評価する。 より大規模なドメインコーパスでトレーニングしたBioMegatronモデルとベンチマークで一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-10-12T22:46:10Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。