論文の概要: Apollo: Lightweight Multilingual Medical LLMs towards Democratizing Medical AI to 6B People

• arxiv url: http://arxiv.org/abs/2403.03640v1
• Date: Wed, 6 Mar 2024 11:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:15:35.755810
• Title: Apollo: Lightweight Multilingual Medical LLMs towards Democratizing Medical AI to 6B People
• Title（参考訳）: Apollo: 医療AIを60億人に民主化するための軽量多言語医療LLM
• Authors: Xidong Wang, Nuo Chen, Junyin Chen, Yan Hu, Yidong Wang, Xiangbo Wu, Anningzhe Gao, Xiang Wan, Haizhou Li, Benyou Wang
• Abstract要約: 我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。 この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。 トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
• 参考スコア（独自算出の注目度）: 74.95250992640979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the vast repository of global medical knowledge predominantly being in English, local languages are crucial for delivering tailored healthcare services, particularly in areas with limited medical resources. To extend the reach of medical AI advancements to a broader population, we aim to develop medical LLMs across the six most widely spoken languages, encompassing a global population of 6.1 billion. This effort culminates in the creation of the ApolloCorpora multilingual medical dataset and the XMedBench benchmark. In the multilingual medical benchmark, the released Apollo models, at various relatively-small sizes (i.e., 0.5B, 1.8B, 2B, 6B, and 7B), achieve the best performance among models of equivalent size. Especially, Apollo-7B is the state-of-the-art multilingual medical LLMs up to 70B. Additionally, these lite models could be used to improve the multi-lingual medical capabilities of larger models without fine-tuning in a proxy-tuning fashion. We will open-source training corpora, code, model weights and evaluation benchmark.
• Abstract（参考訳）: グローバル医療知識の膨大な蓄積は英語が中心であるが、地域言語は、特に医療資源が限られている地域で、カスタマイズされた医療サービスを提供するために重要である。 医療AIの進歩の範囲を広い人口に広げるため、私たちは6つの最も広く話されている言語にわたる医療用LLMの開発を目標としています。 この取り組みは、apollocorpora多言語医療データセットとxmedbenchベンチマークの作成に結実した。 マルチリンガル・メディカル・ベンチマークでは、リリースされたApolloモデルは様々な比較的小さなサイズ(0.5B, 1.8B, 2B, 6B, 7B)で、同等サイズのモデルの中で最高の性能を達成する。 特にアポロ7Bは、最先端の多言語医療用LLMである。 さらに、これらのライトモデルは、プロキシチューニング方式で微調整することなく、より大きなモデルの多言語医療能力を改善するために使用できる。 トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。

関連論文リスト

• Development and bilingual evaluation of Japanese medical large language model within reasonably low computational resources [0.0]
  本稿では,近年の7Bモデルに基づく医療適応について述べる。 日本語医学データセットに基づく英語中心ベースモデルの微調整により,両言語のスコアが向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-18T08:07:37Z)
• Towards Building Multilingual Language Model for Medicine [54.1382395897071]
  6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。 MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。 我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-02-21T17:47:20Z)
• BiMediX: Bilingual Medical Mixture of Experts LLM [94.85518237963535]
  英語とアラビア語の両方でシームレスに相互作用するように設計された、最初のバイリンガル医療混合物であるBiMediXを紹介する。 我々のモデルは、英語とアラビア語の幅広い医学的相互作用を促進し、さらに詳細を問い合わせるマルチターンチャットを含む。 そこで我々は,高品質な翻訳を保証するために,人間の洗練を図った英語からアラビア語への半自動翻訳パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-02-20T18:59:26Z)
• BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains [8.448541067852]
  大規模言語モデル(LLM)は近年,顕著な汎用性を示している。 健康状況に合わせて様々なオープンソース LLM が利用可能であるにもかかわらず、汎用 LLM を医療分野に適用することは重大な課題である。 我々は、Mistralを基盤モデルとして、バイオメディカルドメインに適したオープンソースのLLMであるBioMistralを紹介した。
  論文  参考訳（メタデータ） (2024-02-15T23:39:04Z)
• MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
  大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。 医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:49:43Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• Localising In-Domain Adaptation of Transformer-Based Biomedical Language Models [0.987336898133886]
  我々は、英語以外の言語で生物医学的言語モデルを導出するための2つのアプローチを提案する。 1つは、英語リソースのニューラルネットワーク翻訳に基づくもので、品質よりも量を好む。 もう一つは、イタリア語で書かれた高品位で細いスコープのコーパスに基づいており、量よりも質を優先している。
  論文  参考訳（メタデータ） (2022-12-20T16:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。