論文の概要: BiMediX: Bilingual Medical Mixture of Experts LLM
- arxiv url: http://arxiv.org/abs/2402.13253v1
- Date: Tue, 20 Feb 2024 18:59:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 13:43:33.349965
- Title: BiMediX: Bilingual Medical Mixture of Experts LLM
- Title（参考訳）: BiMediX: LLMのバイリンガル・メディカル・ミックス
- Authors: Sara Pieri, Sahal Shaji Mullappilly, Fahad Shahbaz Khan, Rao Muhammad
Anwer, Salman Khan, Timothy Baldwin, Hisham Cholakkal
- Abstract要約: 英語とアラビア語の両方でシームレスに相互作用するように設計された、最初のバイリンガル医療混合物であるBiMediXを紹介する。
我々のモデルは、英語とアラビア語の幅広い医学的相互作用を促進し、さらに詳細を問い合わせるマルチターンチャットを含む。
そこで我々は,高品質な翻訳を保証するために,人間の洗練を図った英語からアラビア語への半自動翻訳パイプラインを提案する。
- 参考スコア（独自算出の注目度）: 94.85518237963535
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we introduce BiMediX, the first bilingual medical mixture of
experts LLM designed for seamless interaction in both English and Arabic. Our
model facilitates a wide range of medical interactions in English and Arabic,
including multi-turn chats to inquire about additional details such as patient
symptoms and medical history, multiple-choice question answering, and
open-ended question answering. We propose a semi-automated English-to-Arabic
translation pipeline with human refinement to ensure high-quality translations.
We also introduce a comprehensive evaluation benchmark for Arabic medical LLMs.
Furthermore, we introduce BiMed1.3M, an extensive Arabic-English bilingual
instruction set covering 1.3 Million diverse medical interactions, resulting in
over 632 million healthcare specialized tokens for instruction tuning. Our
BiMed1.3M dataset includes 250k synthesized multi-turn doctor-patient chats and
maintains a 1:2 Arabic-to-English ratio. Our model outperforms state-of-the-art
Med42 and Meditron by average absolute gains of 2.5% and 4.1%, respectively,
computed across multiple medical evaluation benchmarks in English, while
operating at 8-times faster inference. Moreover, our BiMediX outperforms the
generic Arabic-English bilingual LLM, Jais-30B, by average absolute gains of
10% on our Arabic medical benchmark and 15% on bilingual evaluations across
multiple datasets. Our project page with source code and trained model is
available at https://github.com/mbzuai-oryx/BiMediX .
- Abstract（参考訳）: 本稿では、英語とアラビア語の両方でシームレスに相互作用するように設計された、最初のバイリンガル医療混合物であるBiMediXを紹介する。
本モデルでは, 患者症状や医療歴, マルチチョイス質問応答, オープンエンド質問応答などの追加詳細を問うマルチターンチャットなど, 英語とアラビア語の幅広い医療対話を促進する。
高品質翻訳を実現するために,半自動英語-アラビア語翻訳パイプラインを提案する。
また,アラビア医学llmの総合評価ベンチマークについても紹介する。
さらにbimed1.3mという、130万の多様な医療インタラクションをカバーする、アラビア語と英語のバイリンガルの広範なインストラクションセットを導入し、6億2200万以上の医療専門のインストラクションチューニングトークンを生み出した。
私たちのBiMed1.3Mデータセットには、250kの合成マルチターン医師と患者とのチャットが含まれており、アラビア語と英語の比率は1:2である。
本モデルでは, 平均絶対利得2.5%, 平均利得4.1%を, 英語の複数の医療評価ベンチマークで計算し, 8倍の速さで計算した。
さらに、私たちのBiMediXは、アラビア語と英語のバイリンガルLLMであるJais-30Bを、アラビアの医療ベンチマークで平均10%、複数のデータセットでバイリンガル評価で平均15%上回っています。
ソースコードとトレーニングされたモデルのプロジェクトページは、https://github.com/mbzuai-oryx/bimedix.com/で閲覧できます。
関連論文リスト
- MultiMed: Multilingual Medical Speech Recognition via Attention Encoder Decoder [1.220481237642298]
MultiMedは、医療分野向けの小型から大規模のASRモデルのコレクションである。
医学的ASRにおける多言語性に関する初の再現可能な研究であり、エンドツーエンドのASRトレーニングのための階層的アブレーション研究を行い、多言語医学的ASRのための最初の言語学的分析を提供する。
論文 参考訳（メタデータ） (2024-09-21T09:05:48Z) - Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach [6.921012069327385]
オープンソースの多言語医療用大規模言語モデル (LLM) は、様々な地域において言語的に多様な人口を提供する可能性を秘めている。
6言語で200万以上の高品質な医療サンプルを含む2つの多言語命令微調整データセットを導入する。
第1段階はMMed-IFTを用いて一般的な医療知識を注入し,第2段階はMMed-IFT-MCを用いたタスク固有の複数選択質問を行う。
論文 参考訳（メタデータ） (2024-09-09T15:42:19Z) - MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering [8.110978727364397]
大規模言語モデル(LLM)は、人工知能技術の発展を促進する可能性を秘めている。
本稿では,MedExpQAについて述べる。MedExpQAは,医学質問応答におけるLSMを評価するための,医学試験に基づく最初の多言語ベンチマークである。
論文 参考訳（メタデータ） (2024-04-08T15:03:57Z) - Apollo: A Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People [68.59917533894608]
我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。
この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。
トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
論文 参考訳（メタデータ） (2024-03-06T11:56:02Z) - Towards Building Multilingual Language Model for Medicine [54.1382395897071]
6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。
MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。
我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
論文 参考訳（メタデータ） (2024-02-21T17:47:20Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。
我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文 参考訳（メタデータ） (2023-11-10T12:25:32Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳（メタデータ） (2023-08-27T12:24:39Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳（メタデータ） (2023-04-27T18:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。