論文の概要: Towards Building Multilingual Language Model for Medicine
- arxiv url: http://arxiv.org/abs/2402.13963v2
- Date: Mon, 26 Feb 2024 11:01:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 21:44:52.792341
- Title: Towards Building Multilingual Language Model for Medicine
- Title(参考訳): 医療用多言語言語モデルの構築に向けて
- Authors: Pengcheng Qiu, Chaoyi Wu, Xiaoman Zhang, Weixiong Lin, Haicheng Wang,
Ya Zhang, Yanfeng Wang, Weidi Xie
- Abstract要約: 我々は、様々な地域から広く、言語的に多様な聴衆に利益をもたらす、医療のためのオープンソースの多言語言語モデルを開発することを目指している。
MMedCと呼ばれる6つの主要言語を含む約25.5Bトークンを含む多言語医療用コーパスを構築した。
本稿では,MMedBenchと呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。
コード、モデルの重み付け、データセットを含むリソースを公開します。
- 参考スコア(独自算出の注目度): 56.469984729667345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we aim to develop an open-source, multilingual language model
for medicine, that the benefits a wider, linguistically diverse audience from
different regions. In general, we present the contribution from the following
aspects: first, for multilingual medical-specific adaptation, we construct a
new multilingual medical corpus, that contains approximately 25.5B tokens
encompassing 6 main languages, termed as MMedC, that enables auto-regressive
training for existing general LLMs. second, to monitor the development of
multilingual LLMs in medicine, we propose a new multilingual medical
multi-choice question-answering benchmark with rationale, termed as MMedBench;
third, we have assessed a number of popular, opensource large language models
(LLMs) on our benchmark, along with those further auto-regressive trained on
MMedC, as a result, our final model, termed as MMedLM 2, with only 7B
parameters, achieves superior performance compared to all other open-source
models, even rivaling GPT-4 on MMedBench. We will make the resources publicly
available, including code, model weights, and datasets.
- Abstract(参考訳): 本稿では,様々な地域から広く,言語的に多様なオーディエンスが利用できる,オープンソースの医学用多言語言語モデルの開発を目指している。
まず,マルチリンガルな医学的適応のために,MMedCと呼ばれる6つの主要言語を含む約25.5Bトークンを含む新しい多言語医療コーパスを構築し,既存のLLMの自己回帰訓練を可能にする。
second, to monitor the development of multilingual LLMs in medicine, we propose a new multilingual medical multi-choice question-answering benchmark with rationale, termed as MMedBench; third, we have assessed a number of popular, opensource large language models (LLMs) on our benchmark, along with those further auto-regressive trained on MMedC, as a result, our final model, termed as MMedLM 2, with only 7B parameters, achieves superior performance compared to all other open-source models, even rivaling GPT-4 on MMedBench.
コード、モデルウェイト、データセットを含むリソースを一般公開する予定です。
関連論文リスト
- Apollo: An Lightweight Multilingual Medical LLM towards Democratizing
Medical AI to 6B People [74.95250992640979]
我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。
この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。
トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
論文 参考訳(メタデータ) (2024-03-06T11:56:02Z) - OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large
Language Models [59.54423478596468]
OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。
各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。
具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
論文 参考訳(メタデータ) (2024-02-21T04:42:41Z) - BioMistral: A Collection of Open-Source Pretrained Large Language Models
for Medical Domains [8.952207782569355]
大規模言語モデル(LLM)は近年,顕著な汎用性を示している。
健康状況に合わせて様々なオープンソース LLM が利用可能であるにもかかわらず、汎用 LLM を医療分野に適用することは重大な課題である。
我々は、Mistralを基盤モデルとして、バイオメディカルドメインに適したオープンソースのLLMであるBioMistralを紹介した。
論文 参考訳(メタデータ) (2024-02-15T23:39:04Z) - KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained
Language Model [37.69464822182714]
ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。
本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
論文 参考訳(メタデータ) (2023-11-20T07:02:35Z) - Baichuan 2: Open Large-scale Language Models [51.56361715162972]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳(メタデータ) (2023-09-19T04:13:22Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳(メタデータ) (2023-07-12T09:00:37Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-29T08:53:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。