論文の概要: BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text
- arxiv url: http://arxiv.org/abs/2403.18421v1
- Date: Wed, 27 Mar 2024 10:18:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 17:27:38.431538
- Title: BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text
- Title(参考訳): BioMedLM: バイオメディカルテキストを用いた2.7Bパラメータ言語モデル
- Authors: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning,
- Abstract要約: BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。
微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。
BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
- 参考スコア(独自算出の注目度): 82.7001841679981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.
- Abstract(参考訳): GPT-4 や Med-PaLM 2 のようなモデルでは、様々な生物医学的 NLP タスクにおいて顕著な性能を示している。
しかし、これらのモデルには数十億のパラメータがあり、実行には計算コストがかかり、ユーザがインターネット経由で入力データを送信し、未知のデータソースでトレーニングする必要がある。
より小型で、よりターゲットを絞ったモデルが競争できるのか?
この問題に対処するため,我々は,PubMedの抽象概念と全記事のみに特化して訓練された270億のパラメータGPTスタイルの自己回帰モデルであるBioMedLMを構築し,リリースする。
微調整を施すと、MedMCQA(dev)で57.3%、MMLU医学遺伝試験で69.0%のスコアを得るなど、より大規模なモデルと競合する強力な多重選択のバイオメディカル質問応答結果が得られる。
BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
これは、より小さなモデルが、バイオメディシンのような特定のNLPアプリケーションのための透明性、プライバシー保護、経済的、環境に優しい基盤として機能する可能性があることを示している。
モデルはHugging Face Hubで利用可能である。
関連論文リスト
- BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。
BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
論文 参考訳(メタデータ) (2024-04-29T05:40:08Z) - Assessing The Potential Of Mid-Sized Language Models For Clinical QA [24.116649037975762]
GPT-4 や Med-PaLM のような大規模言語モデルは、臨床上のタスクにおいて顕著な性能を示した。
BioGPT-large、BioMedLM、LLaMA 2、Mistral 7Bのような中型モデルはこれらの欠点を避ける。
本研究は,臨床業務におけるオープンソース中規模モデルの初回評価を行う。
論文 参考訳(メタデータ) (2024-04-24T14:32:34Z) - MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
論文 参考訳(メタデータ) (2023-11-27T18:49:43Z) - LLaVA-Med: Training a Large Language-and-Vision Assistant for
Biomedicine in One Day [85.19963303642427]
本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。
モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。
これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
論文 参考訳(メタデータ) (2023-06-01T16:50:07Z) - Evaluation of ChatGPT Family of Models for Biomedical Reasoning and
Classification [6.163540203358258]
本研究では,大規模言語モデル(LLM)の性能について,質問応答以外のバイオメディカルな課題について検討した。
OpenAI APIの公開インターフェースに患者データを渡すことはできないため、モデルのパフォーマンスを10000以上のサンプルで評価した。
2つの基本的なNLPタスクの微調整が最良戦略であることがわかった。
論文 参考訳(メタデータ) (2023-04-05T15:11:25Z) - Bioformer: an efficient transformer language model for biomedical text
mining [8.961510810015643]
本稿では,バイオメディカルテキストマイニングのための小型BERTモデルであるBioformerを紹介する。
BERTBaseと比較してモデルサイズを60%削減する2つのBioformerモデルを事前訓練した。
パラメータが60%少ないため、Bioformer16L は PubMedBERT よりも 0.1% しか正確ではない。
論文 参考訳(メタデータ) (2023-02-03T08:04:59Z) - BioGPT: Generative Pre-trained Transformer for Biomedical Text
Generation and Mining [140.61707108174247]
本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。
BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
論文 参考訳(メタデータ) (2022-10-19T07:17:39Z) - On the Effectiveness of Compact Biomedical Transformers [12.432191400869002]
バイオメディカルコーパスで事前訓練された言語モデルは、最近下流のバイオメディカルタスクにおいて有望な結果を示した。
既存のトレーニング済みモデルの多くは、埋め込みサイズ、隠れ次元、層数などの要因により、リソース集約的で計算的に重い。
本稿では,BioDistilBERT,BioTinyBERT,BioMobileBERT,DistilBioBERT,TinyBioBERT,CompactBioBERTの6つの軽量モデルを紹介する。
3つのバイオメディカルなタスクで全てのモデルを評価し、それらをBioBERT-v1.1と比較し、より大規模なモデルと同等に動作する効率的な軽量モデルを作成する。
論文 参考訳(メタデータ) (2022-09-07T14:24:04Z) - Fine-Tuning Large Neural Language Models for Biomedical Natural Language
Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。
我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。
これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。