論文の概要: MEDITRON-70B: Scaling Medical Pretraining for Large Language Models
- arxiv url: http://arxiv.org/abs/2311.16079v1
- Date: Mon, 27 Nov 2023 18:49:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 13:52:52.001077
- Title: MEDITRON-70B: Scaling Medical Pretraining for Large Language Models
- Title（参考訳）: MEDITRON-70B:大規模言語モデルのための医療訓練のスケーリング
- Authors: Zeming Chen, Alejandro Hern\'andez Cano, Angelika Romanou, Antoine
Bonnet, Kyle Matoba, Francesco Salvi, Matteo Pagliardini, Simin Fan, Andreas
K\"opf, Amirkeivan Mohtashami, Alexandre Sallinen, Alireza Sakhaeirad,
Vinitra Swamy, Igor Krawczuk, Deniz Bayazit, Axel Marmet, Syrielle Montariol,
Mary-Anne Hartley, Martin Jaggi, Antoine Bosselut
- Abstract要約: 大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
- 参考スコア（独自算出の注目度）: 91.25119823784705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can potentially democratize access to medical
knowledge. While many efforts have been made to harness and improve LLMs'
medical knowledge and reasoning capacities, the resulting models are either
closed-source (e.g., PaLM, GPT-4) or limited in scale (<= 13B parameters),
which restricts their abilities. In this work, we improve access to large-scale
medical LLMs by releasing MEDITRON: a suite of open-source LLMs with 7B and 70B
parameters adapted to the medical domain. MEDITRON builds on Llama-2 (through
our adaptation of Nvidia's Megatron-LM distributed trainer), and extends
pretraining on a comprehensively curated medical corpus, including selected
PubMed articles, abstracts, and internationally-recognized medical guidelines.
Evaluations using four major medical benchmarks show significant performance
gains over several state-of-the-art baselines before and after task-specific
finetuning. Overall, MEDITRON achieves a 6% absolute performance gain over the
best public baseline in its parameter class and 3% over the strongest baseline
we finetuned from Llama-2. Compared to closed-source LLMs, MEDITRON-70B
outperforms GPT-3.5 and Med-PaLM and is within 5% of GPT-4 and 10% of
Med-PaLM-2. We release our code for curating the medical pretraining corpus and
the MEDITRON model weights to drive open-source development of more capable
medical LLMs.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
LLMの医療知識と推論能力の活用と改善に多くの努力がなされているが、結果として得られたモデルはクローズドソース(例えば PaLM, GPT-4)かスケール(= 13B パラメータ)に制限されている。
本研究では,医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースすることにより,大規模医療LLMへのアクセスを改善する。
MEDITRONはLlama-2(NvidiaのMegatron-LM分散トレーナーの適応を通じて)をベースとして構築されており、選択されたPubMed記事、抽象化、国際的に認められた医療ガイドラインを含む包括的に訓練された医療コーパスの事前訓練を拡張している。
4つの主要な医療ベンチマークによる評価は、タスク固有の微調整前後の最先端のベースラインよりも顕著なパフォーマンス向上を示した。
全体として、MEDITRONはパラメータクラスで最高の公開ベースラインに対して6%、Llama-2から微調整した最強ベースラインに対して3%という絶対的なパフォーマンス向上を達成した。
MEDITRON-70BはGPT-3.5とMed-PaLMより優れており、GPT-4の5%、Med-PaLM-2の10%以内である。
我々は,より有能な医療用LLMのオープンソース開発を促進するために,医用プレトレーニングコーパスとMEDITRONモデルの重み付けをキュレートするためのコードをリリースした。
関連論文リスト
- MEG: Medical Knowledge-Augmented Large Language Models for Question Answering [37.3562521243773]
本稿では,医療知識を付加したLCMのパラメータ効率向上手法であるMEGを提案する。
本手法は,4つの医用マルチチョイスデータセットを用いて評価する。
論文 参考訳（メタデータ） (2024-11-06T12:57:58Z) - Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。
MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。
MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
論文 参考訳（メタデータ） (2024-08-22T17:01:34Z) - Apollo: A Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People [68.59917533894608]
我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。
この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。
トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
論文 参考訳（メタデータ） (2024-03-06T11:56:02Z) - OpenMedLM: Prompt engineering can out-perform fine-tuning in medical
question-answering with open-source large language models [4.556924372105915]
オープンソース(OS)モデルは、医療用LDMにとって重要な成長領域である。
医用ベンチマークでOS LLMに対してSOTA(State-of-the-art)パフォーマンスを提供するプロンプトプラットフォームであるOpenMedLMを提案する。
論文 参考訳（メタデータ） (2024-02-29T17:19:39Z) - Towards Building Multilingual Language Model for Medicine [54.1382395897071]
6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。
MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。
我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
論文 参考訳（メタデータ） (2024-02-21T17:47:20Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。
我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文 参考訳（メタデータ） (2023-11-10T12:25:32Z) - Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large Language Model [41.11769935795965]
本稿では,ドメイン固有型連続事前学習(DCPT),スーパーバイザードファインチューニング(SFT),直接選好最適化(DPO)を組み合わせた多段階学習手法を提案する。
CPTとSFTの段階では、Qilin-MedはCMExamテストセットでそれぞれ38.4%と40.0%の精度を達成した。
DPOフェーズでは、BLEU-1で16.66点、Huatuo-26MテストセットでROUGE-1で27.44点を記録し、SFTフェーズ(BLEU-1で12.69点、ROUGE-1で24.21点)をさらに改善した。
論文 参考訳（メタデータ） (2023-10-13T13:17:03Z) - Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering (Published in Findings of EMNLP 2024) [48.17095875619711]
LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。
LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。
検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
論文 参考訳（メタデータ） (2023-09-05T13:39:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。