論文の概要: Apollo: An Lightweight Multilingual Medical LLM towards Democratizing
Medical AI to 6B People
- arxiv url: http://arxiv.org/abs/2403.03640v2
- Date: Sat, 9 Mar 2024 13:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 17:21:55.002512
- Title: Apollo: An Lightweight Multilingual Medical LLM towards Democratizing
Medical AI to 6B People
- Title(参考訳): Apollo: 医療AIを60億人に民主化するための軽量多言語医療LLM
- Authors: Xidong Wang, Nuo Chen, Junyin Chen, Yan Hu, Yidong Wang, Xiangbo Wu,
Anningzhe Gao, Xiang Wan, Haizhou Li, Benyou Wang
- Abstract要約: 我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。
この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。
トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
- 参考スコア(独自算出の注目度): 74.95250992640979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the vast repository of global medical knowledge predominantly being
in English, local languages are crucial for delivering tailored healthcare
services, particularly in areas with limited medical resources. To extend the
reach of medical AI advancements to a broader population, we aim to develop
medical LLMs across the six most widely spoken languages, encompassing a global
population of 6.1 billion. This effort culminates in the creation of the
ApolloCorpora multilingual medical dataset and the XMedBench benchmark. In the
multilingual medical benchmark, the released Apollo models, at various
relatively-small sizes (i.e., 0.5B, 1.8B, 2B, 6B, and 7B), achieve the best
performance among models of equivalent size. Especially, Apollo-7B is the
state-of-the-art multilingual medical LLMs up to 70B. Additionally, these lite
models could be used to improve the multi-lingual medical capabilities of
larger models without fine-tuning in a proxy-tuning fashion. We will
open-source training corpora, code, model weights and evaluation benchmark.
- Abstract(参考訳): グローバル医療知識の膨大な蓄積は英語が中心であるが、地域言語は、特に医療資源が限られている地域で、カスタマイズされた医療サービスを提供するために重要である。
医療AIの進歩の範囲を広い人口に広げるため、私たちは6つの最も広く話されている言語にわたる医療用LLMの開発を目標としています。
この取り組みは、apollocorpora多言語医療データセットとxmedbenchベンチマークの作成に結実した。
マルチリンガル・メディカル・ベンチマークでは、リリースされたApolloモデルは様々な比較的小さなサイズ(0.5B, 1.8B, 2B, 6B, 7B)で、同等サイズのモデルの中で最高の性能を達成する。
特にアポロ7Bは、最先端の多言語医療用LLMである。
さらに、これらのライトモデルは、プロキシチューニング方式で微調整することなく、より大きなモデルの多言語医療能力を改善するために使用できる。
トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
関連論文リスト
- Towards Building Multilingual Language Model for Medicine [56.469984729667345]
我々は、様々な地域から広く、言語的に多様な聴衆に利益をもたらす、医療のためのオープンソースの多言語言語モデルを開発することを目指している。
MMedCと呼ばれる6つの主要言語を含む約25.5Bトークンを含む多言語医療用コーパスを構築した。
本稿では,MMedBenchと呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。
コード、モデルの重み付け、データセットを含むリソースを公開します。
論文 参考訳(メタデータ) (2024-02-21T17:47:20Z) - BiMediX: Bilingual Medical Mixture of Experts LLM [94.85518237963535]
英語とアラビア語の両方でシームレスに相互作用するように設計された、最初のバイリンガル医療混合物であるBiMediXを紹介する。
我々のモデルは、英語とアラビア語の幅広い医学的相互作用を促進し、さらに詳細を問い合わせるマルチターンチャットを含む。
そこで我々は,高品質な翻訳を保証するために,人間の洗練を図った英語からアラビア語への半自動翻訳パイプラインを提案する。
論文 参考訳(メタデータ) (2024-02-20T18:59:26Z) - BioMistral: A Collection of Open-Source Pretrained Large Language Models
for Medical Domains [8.952207782569355]
大規模言語モデル(LLM)は近年,顕著な汎用性を示している。
健康状況に合わせて様々なオープンソース LLM が利用可能であるにもかかわらず、汎用 LLM を医療分野に適用することは重大な課題である。
我々は、Mistralを基盤モデルとして、バイオメディカルドメインに適したオープンソースのLLMであるBioMistralを紹介した。
論文 参考訳(メタデータ) (2024-02-15T23:39:04Z) - MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
論文 参考訳(メタデータ) (2023-11-27T18:49:43Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - Baichuan 2: Open Large-scale Language Models [51.56361715162972]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳(メタデータ) (2023-09-19T04:13:22Z) - Localising In-Domain Adaptation of Transformer-Based Biomedical Language
Models [0.987336898133886]
我々は、英語以外の言語で生物医学的言語モデルを導出するための2つのアプローチを提案する。
1つは、英語リソースのニューラルネットワーク翻訳に基づくもので、品質よりも量を好む。
もう一つは、イタリア語で書かれた高品位で細いスコープのコーパスに基づいており、量よりも質を優先している。
論文 参考訳(メタデータ) (2022-12-20T16:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。