論文の概要: BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining

• arxiv url: http://arxiv.org/abs/2210.10341v1
• Date: Wed, 19 Oct 2022 07:17:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 12:51:50.852266
• Title: BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining
• Title（参考訳）: BioGPT: バイオメディカルテキスト生成とマイニングのための生成事前学習型トランス
• Authors: Renqian Luo, Liai Sun, Yingce Xia, Tao Qin, Sheng Zhang, Hoifung Poon, Tie-Yan Liu
• Abstract要約: 本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
• 参考スコア（独自算出の注目度）: 140.61707108174247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models have attracted increasing attention in the biomedical domain, inspired by their great success in the general natural language domain. Among the two main branches of pre-trained language models in the general language domain, i.e., BERT (and its variants) and GPT (and its variants), the first one has been extensively studied in the biomedical domain, such as BioBERT and PubMedBERT. While they have achieved great success on a variety of discriminative downstream biomedical tasks, the lack of generation ability constrains their application scope. In this paper, we propose BioGPT, a domain-specific generative Transformer language model pre-trained on large scale biomedical literature. We evaluate BioGPT on six biomedical NLP tasks and demonstrate that our model outperforms previous models on most tasks. Especially, we get 44.98%, 38.42% and 40.76% F1 score on BC5CDR, KD-DTI and DDI end-to-end relation extraction tasks respectively, and 78.2% accuracy on PubMedQA, creating a new record. Our case study on text generation further demonstrates the advantage of BioGPT on biomedical literature to generate fluent descriptions for biomedical terms. Code is available at https://github.com/microsoft/BioGPT.
• Abstract（参考訳）: 事前学習された言語モデルは、一般的な自然言語領域での成功に触発されて、生物医学領域で注目を集めている。 一般言語領域における事前訓練された言語モデルの2つの主要分野、すなわちBERT(とその変種)とGPT(およびその変種)のうち、最初のものはBioBERTやPubMedBERTといった生物医学領域で広く研究されている。 彼らは様々な差別的な下流のバイオメディカルなタスクで大きな成功を収めてきたが、生成能力の欠如はアプリケーションの範囲を制限している。 本稿では,大規模生物医学文献に基づくドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 バイオGPTを6つのNLPタスクで評価し、我々のモデルが多くのタスクで過去のモデルより優れていることを示す。 特に、BC5CDRで44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIのエンドツーエンド関係抽出タスクで78.2%、PubMedQAで78.2%の精度で新しい記録を作成した。 テキスト生成のケーススタディは、バイオメディカル文献におけるバイオGPTの利点をさらに示し、バイオメディカル用語の流動的な記述を生成する。 コードはhttps://github.com/microsoft/BioGPTで入手できる。

関連論文リスト

• BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
  BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
  論文  参考訳（メタデータ） (2024-03-27T10:18:21Z)
• BioT5+: Towards Generalized Biological Understanding with IUPAC Integration and Multi-task Tuning [77.90250740041411]
  本稿では,BioT5フレームワークの拡張であるBioT5+を紹介する。 BioT5+ には、分子理解のための IUPAC 名の統合、bioRxiv や PubChem などのソースからの広範なバイオテキストと分子データの統合、タスク間の汎用性のためのマルチタスク命令チューニング、数値データの処理を改善する数値トークン化技術など、いくつかの新機能が含まれている。
  論文  参考訳（メタデータ） (2024-02-27T12:43:09Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers [2.5027382653219155]
  ChatGPTはOpenAIが開発した大規模言語モデルである。 本稿では,各種ベンチマークバイオメディカルタスクにおけるChatGPTの性能評価を目的とした。
  論文  参考訳（メタデータ） (2023-06-07T15:11:26Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• BioAug: Conditional Generation based Data Augmentation for Low-Resource Biomedical NER [52.79573512427998]
  低リソースBioNERのための新しいデータ拡張フレームワークであるBioAugを紹介する。 BioAugは、選択的マスキングと知識増強に基づく新しいテキスト再構築タスクを解決するために訓練されている。 5つのベンチマークBioNERデータセットに対するBioAugの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-18T02:04:38Z)
• Bioformer: an efficient transformer language model for biomedical text mining [8.961510810015643]
  本稿では,バイオメディカルテキストマイニングのための小型BERTモデルであるBioformerを紹介する。 BERTBaseと比較してモデルサイズを60%削減する2つのBioformerモデルを事前訓練した。 パラメータが60%少ないため、Bioformer16L は PubMedBERT よりも 0.1% しか正確ではない。
  論文  参考訳（メタデータ） (2023-02-03T08:04:59Z)
• BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model [1.1764594853212893]
  本稿では,BARTをバイオメディカル領域に適応させる生成言語モデルBioBARTを紹介する。 我々は、対話、要約、エンティティリンク、名前付きエンティティ認識など、様々なバイオメディカル言語生成タスクを照合する。 PubMedの抽象化で事前訓練されたBioBARTは、BARTと比較してパフォーマンスが向上し、いくつかのタスクに強いベースラインが設定されている。
  論文  参考訳（メタデータ） (2022-04-08T08:07:42Z)
• Pre-trained Language Models in Biomedical Domain: A Systematic Survey [33.572502204216256]
  プレトレーニング言語モデル(PLM)は、ほとんどの自然言語処理(NLP)タスクのデファクトパラダイムである。 本稿では,生物医学領域における事前学習言語モデルの最近の進歩とその生物医学的下流タスクへの応用について要約する。
  論文  参考訳（メタデータ） (2021-10-11T05:30:30Z)
• BioALBERT: A Simple and Effective Pre-trained Language Model for Biomedical Named Entity Recognition [9.05154470433578]
  既存のBioNERアプローチはこれらの問題を無視し、最先端(SOTA)モデルを直接採用することが多い。 本稿では,大規模バイオメディカルコーパスを用いた効果的なドメイン固有言語モデルであるALBERTを提案する。
  論文  参考訳（メタデータ） (2020-09-19T12:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。