論文の概要: Towards Building Multilingual Language Model for Medicine

• arxiv url: http://arxiv.org/abs/2402.13963v2
• Date: Mon, 26 Feb 2024 11:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 21:44:52.792341
• Title: Towards Building Multilingual Language Model for Medicine
• Title（参考訳）: 医療用多言語言語モデルの構築に向けて
• Authors: Pengcheng Qiu, Chaoyi Wu, Xiaoman Zhang, Weixiong Lin, Haicheng Wang, Ya Zhang, Yanfeng Wang, Weidi Xie
• Abstract要約: 我々は、様々な地域から広く、言語的に多様な聴衆に利益をもたらす、医療のためのオープンソースの多言語言語モデルを開発することを目指している。 MMedCと呼ばれる6つの主要言語を含む約25.5Bトークンを含む多言語医療用コーパスを構築した。 本稿では,MMedBenchと呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。 コード、モデルの重み付け、データセットを含むリソースを公開します。
• 参考スコア（独自算出の注目度）: 56.469984729667345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we aim to develop an open-source, multilingual language model for medicine, that the benefits a wider, linguistically diverse audience from different regions. In general, we present the contribution from the following aspects: first, for multilingual medical-specific adaptation, we construct a new multilingual medical corpus, that contains approximately 25.5B tokens encompassing 6 main languages, termed as MMedC, that enables auto-regressive training for existing general LLMs. second, to monitor the development of multilingual LLMs in medicine, we propose a new multilingual medical multi-choice question-answering benchmark with rationale, termed as MMedBench; third, we have assessed a number of popular, opensource large language models (LLMs) on our benchmark, along with those further auto-regressive trained on MMedC, as a result, our final model, termed as MMedLM 2, with only 7B parameters, achieves superior performance compared to all other open-source models, even rivaling GPT-4 on MMedBench. We will make the resources publicly available, including code, model weights, and datasets.
• Abstract（参考訳）: 本稿では,様々な地域から広く,言語的に多様なオーディエンスが利用できる,オープンソースの医学用多言語言語モデルの開発を目指している。 まず,マルチリンガルな医学的適応のために,MMedCと呼ばれる6つの主要言語を含む約25.5Bトークンを含む新しい多言語医療コーパスを構築し,既存のLLMの自己回帰訓練を可能にする。 second, to monitor the development of multilingual LLMs in medicine, we propose a new multilingual medical multi-choice question-answering benchmark with rationale, termed as MMedBench; third, we have assessed a number of popular, opensource large language models (LLMs) on our benchmark, along with those further auto-regressive trained on MMedC, as a result, our final model, termed as MMedLM 2, with only 7B parameters, achieves superior performance compared to all other open-source models, even rivaling GPT-4 on MMedBench. コード、モデルウェイト、データセットを含むリソースを一般公開する予定です。

関連論文リスト

• EMMA-500: Enhancing Massively Multilingual Adaptation of Large Language Models [50.459861376459656]
  EMMA-500は546言語にわたるテキストで継続訓練された大規模多言語言語モデルである。 本結果は,大規模言語モデルの言語能力拡大における継続事前学習の有効性を強調した。
  論文  参考訳（メタデータ） (2024-09-26T14:40:45Z)
• Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach [6.921012069327385]
  オープンソースの多言語医療用大規模言語モデル (LLM) は、様々な地域において言語的に多様な人口を提供する可能性を秘めている。 6言語で200万以上の高品質な医療サンプルを含む2つの多言語命令微調整データセットを導入する。 第1段階はMMed-IFTを用いて一般的な医療知識を注入し,第2段階はMMed-IFT-MCを用いたタスク固有の複数選択質問を行う。
  論文  参考訳（メタデータ） (2024-09-09T15:42:19Z)
• Medical mT5: An Open-Source Multilingual Text-to-Text LLM for The Medical Domain [19.58987478434808]
  我々は、医療領域における最初のオープンソーステキストからテキストへの多言語モデルであるMedical mT5を提示する。 包括的な評価では、Medical mT5はエンコーダと、スペイン語、フランス語、イタリア語のベンチマークで同等の大きさのテキスト・テキスト・モデルの両方を上回っている。
  論文  参考訳（メタデータ） (2024-04-11T10:01:32Z)
• Apollo: A Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People [68.59917533894608]
  我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。 この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。 トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
  論文  参考訳（メタデータ） (2024-03-06T11:56:02Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains [8.448541067852]
  大規模言語モデル(LLM)は近年,顕著な汎用性を示している。 健康状況に合わせて様々なオープンソース LLM が利用可能であるにもかかわらず、汎用 LLM を医療分野に適用することは重大な課題である。 我々は、Mistralを基盤モデルとして、バイオメディカルドメインに適したオープンソースのLLMであるBioMistralを紹介した。
  論文  参考訳（メタデータ） (2024-02-15T23:39:04Z)
• KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model [37.69464822182714]
  ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。 本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-20T07:02:35Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。