論文の概要: Baichuan-M1: Pushing the Medical Capability of Large Language Models

• arxiv url: http://arxiv.org/abs/2502.12671v1
• Date: Tue, 18 Feb 2025 09:21:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:02:53.790303
• Title: Baichuan-M1: Pushing the Medical Capability of Large Language Models
• Title（参考訳）: Baichuan-M1:大規模言語モデルの医療能力向上
• Authors: Bingning Wang, Haizhou Zhao, Huozhi Zhou, Liang Song, Mingyu Xu, Wei Cheng, Xiangrong Zeng, Yupeng Zhang, Yuqi Huo, Zecheng Wang, Zhengyun Zhao, Da Pan, Fan Yang, Fei Kou, Fei Li, Fuzhong Chen, Guosheng Dong, Han Liu, Hongda Zhang, Jin He, Jinjie Yang, Kangxi Wu, Kegeng Wu, Lei Su, Linlin Niu, Linzhuang Sun, Mang Wang, Pengcheng Fan, Qianli Shen, Rihui Xin, Shunya Dang, Songchi Zhou, Weipeng Chen, Wenjing Luo, Xin Chen, Xin Men, Xionghai Lin, Xuezhen Dong, Yan Zhang, Yifei Duan, Yuyan Zhou, Zhi Ma, Zhiying Wu,
• Abstract要約: 医療応用に特化して最適化された大規模言語モデルであるBaichuan-M1を紹介する。 既存のモデルで事前訓練を続ける従来のアプローチとは異なり、Baichuan-M1は医療能力の向上に重点を置いてゼロから訓練されている。 我々のモデルは20兆のトークンで訓練され、一般的な能力と医療の専門知識のバランスをとるための、さまざまな効果的な訓練方法が組み込まれています。
• 参考スコア（独自算出の注目度）: 27.10768356058029
• License:
• Abstract: The current generation of large language models (LLMs) is typically designed for broad, general-purpose applications, while domain-specific LLMs, especially in vertical fields like medicine, remain relatively scarce. In particular, the development of highly efficient and practical LLMs for the medical domain is challenging due to the complexity of medical knowledge and the limited availability of high-quality data. To bridge this gap, we introduce Baichuan-M1, a series of large language models specifically optimized for medical applications. Unlike traditional approaches that simply continue pretraining on existing models or apply post-training to a general base model, Baichuan-M1 is trained from scratch with a dedicated focus on enhancing medical capabilities. Our model is trained on 20 trillion tokens and incorporates a range of effective training methods that strike a balance between general capabilities and medical expertise. As a result, Baichuan-M1 not only performs strongly across general domains such as mathematics and coding but also excels in specialized medical fields. We have open-sourced Baichuan-M1-14B, a mini version of our model, which can be accessed through the following links.
• Abstract（参考訳）: 現在の大規模言語モデル(LLM)は、一般的に広範で汎用的な用途のために設計されているが、特に医学のような垂直分野において、ドメイン固有のLLMは比較的少ないままである。 特に、医療領域における高効率かつ実用的なLCMの開発は、医療知識の複雑さと高品質なデータの利用が限られているため、困難である。 このギャップを埋めるために,医療応用に特化して最適化された大規模言語モデルであるBaichuan-M1を紹介する。 既存のモデルに事前トレーニングを継続したり、一般的なベースモデルにポストトレーニングを適用する従来のアプローチとは異なり、Baichuan-M1は医療能力の向上に特化してゼロから訓練されている。 我々のモデルは20兆のトークンで訓練され、一般的な能力と医療の専門知識のバランスをとるための、さまざまな効果的な訓練方法が組み込まれています。 その結果、Baichuan-M1 は数学やコーディングといった一般的な領域にまたがって強く機能するだけでなく、専門の医学分野でも優れている。 我々は,このモデルのミニバージョンであるBaichuan-M1-14Bをオープンソースとして公開した。

関連論文リスト

• Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach [6.921012069327385]
  オープンソースの多言語医療用大規模言語モデル (LLM) は、様々な地域において言語的に多様な人口を提供する可能性を秘めている。 6言語で200万以上の高品質な医療サンプルを含む2つの多言語命令微調整データセットを導入する。 第1段階はMMed-IFTを用いて一般的な医療知識を注入し,第2段階はMMed-IFT-MCを用いたタスク固有の複数選択質問を行う。
  論文  参考訳（メタデータ） (2024-09-09T15:42:19Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Apollo: A Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People [68.59917533894608]
  我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。 この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。 トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
  論文  参考訳（メタデータ） (2024-03-06T11:56:02Z)
• From Beginner to Expert: Modeling Medical Knowledge into General LLMs [22.475129648458136]
  大規模言語モデル(LLM)に基づく人工知能(AI)システムは、自然言語の理解と生成において顕著な能力を示した。 これらのモデルは、医学的な知識を推論したり、医師のような方法で医学的な疑問に答えたりするといった、繊細な応用に関して重要な課題に直面している。 本研究は、事前訓練された一般LLMモデル(AntGLM-10B)から始まり、医療初心者から医療専門家(AntGLM-Med-10B)に微調整する。
  論文  参考訳（メタデータ） (2023-12-02T05:54:06Z)
• HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs [61.41790586411816]
  HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。 さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
  論文  参考訳（メタデータ） (2023-11-16T10:56:24Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Continuous Training and Fine-tuning for Domain-Specific Language Models in Medical Question Answering [4.254954312483959]
  大規模言語モデルは有望な汎用能力を示すが、しばしばドメイン固有のタスクに関する専門知識を欠いている。 本研究は,Llama 2ベースモデルを中国医学領域に迅速に適応させるための,連続的なトレーニングと指導の微調整を用いた手法を実証する。
  論文  参考訳（メタデータ） (2023-11-01T00:18:00Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains [4.989459243399296]
  医学領域におけるフランス語のPLMに関する独自の研究を提案する。 医療機関の公開データとプライベートデータの両方でトレーニングされたPLMのパフォーマンスを初めて比較した。 我々は,既存のバイオメディカルPLMを外国語で活用できることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:25:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。