論文の概要: BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

• arxiv url: http://arxiv.org/abs/2403.18421v1
• Date: Wed, 27 Mar 2024 10:18:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 17:27:38.431538
• Title: BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text
• Title（参考訳）: BioMedLM: バイオメディカルテキストを用いた2.7Bパラメータ言語モデル
• Authors: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning,
• Abstract要約: BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
• 参考スコア（独自算出の注目度）: 82.7001841679981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.
• Abstract（参考訳）: GPT-4 や Med-PaLM 2 のようなモデルでは、様々な生物医学的 NLP タスクにおいて顕著な性能を示している。 しかし、これらのモデルには数十億のパラメータがあり、実行には計算コストがかかり、ユーザがインターネット経由で入力データを送信し、未知のデータソースでトレーニングする必要がある。 より小型で、よりターゲットを絞ったモデルが競争できるのか? この問題に対処するため,我々は,PubMedの抽象概念と全記事のみに特化して訓練された270億のパラメータGPTスタイルの自己回帰モデルであるBioMedLMを構築し,リリースする。 微調整を施すと、MedMCQA(dev)で57.3%、MMLU医学遺伝試験で69.0%のスコアを得るなど、より大規模なモデルと競合する強力な多重選択のバイオメディカル質問応答結果が得られる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。 これは、より小さなモデルが、バイオメディシンのような特定のNLPアプリケーションのための透明性、プライバシー保護、経済的、環境に優しい基盤として機能する可能性があることを示している。 モデルはHugging Face Hubで利用可能である。

関連論文リスト

• Biomedical Large Languages Models Seem not to be Superior to Generalist Models on Unseen Medical Data [3.469567586411153]
  大規模言語モデル (LLM) は、生物医学的応用の可能性を示しており、それらをドメイン固有のデータに微調整する努力に繋がった。 本研究は, バイオメディカル微調整LDMの多種多様な臨床課題における汎用性に対する性能評価を行った。
  論文  参考訳（メタデータ） (2024-08-25T13:36:22Z)
• BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
  BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
  論文  参考訳（メタデータ） (2024-04-29T05:40:08Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
  大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。 医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:49:43Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• Bioformer: an efficient transformer language model for biomedical text mining [8.961510810015643]
  本稿では,バイオメディカルテキストマイニングのための小型BERTモデルであるBioformerを紹介する。 BERTBaseと比較してモデルサイズを60%削減する2つのBioformerモデルを事前訓練した。 パラメータが60%少ないため、Bioformer16L は PubMedBERT よりも 0.1% しか正確ではない。
  論文  参考訳（メタデータ） (2023-02-03T08:04:59Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• On the Effectiveness of Compact Biomedical Transformers [12.432191400869002]
  バイオメディカルコーパスで事前訓練された言語モデルは、最近下流のバイオメディカルタスクにおいて有望な結果を示した。 既存のトレーニング済みモデルの多くは、埋め込みサイズ、隠れ次元、層数などの要因により、リソース集約的で計算的に重い。 本稿では,BioDistilBERT,BioTinyBERT,BioMobileBERT,DistilBioBERT,TinyBioBERT,CompactBioBERTの6つの軽量モデルを紹介する。 3つのバイオメディカルなタスクで全てのモデルを評価し、それらをBioBERT-v1.1と比較し、より大規模なモデルと同等に動作する効率的な軽量モデルを作成する。
  論文  参考訳（メタデータ） (2022-09-07T14:24:04Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。