論文の概要: CareBot: A Pioneering Full-Process Open-Source Medical Language Model

• arxiv url: http://arxiv.org/abs/2412.15236v2
• Date: Mon, 23 Dec 2024 02:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:37.681279
• Title: CareBot: A Pioneering Full-Process Open-Source Medical Language Model
• Title（参考訳）: CareBot: 本格的なオープンソース医療用言語モデル
• Authors: Lulu Zhao, Weihao Zeng, Xiaofeng Shi, Hua Zhou,
• Abstract要約: CareBotは、連続事前訓練(CPT)、教師付き微調整(SFT)、人間フィードバックによる強化学習(RLHF)を統合したバイリンガル医療用LLMである。 DataRaterは、CPT中のデータ品質を評価するために設計されたモデルで、トレーニングデータの正確性と関連性を保証する。 漢英ベンチマークの厳格な評価は、医療相談・教育におけるCareBotの有効性を裏付けるものである。
• 参考スコア（独自算出の注目度）: 8.868481107848185
• License:
• Abstract: Recently, both closed-source LLMs and open-source communities have made significant strides, outperforming humans in various general domains. However, their performance in specific professional domains such as medicine, especially within the open-source community, remains suboptimal due to the complexity of medical knowledge. In this paper, we propose CareBot, a bilingual medical LLM, which leverages a comprehensive approach integrating continuous pre-training (CPT), supervised fine-tuning (SFT), and reinforcement learning with human feedback (RLHF). Our novel two-stage CPT method, comprising Stable CPT and Boost CPT, effectively bridges the gap between general and domain-specific data, facilitating a smooth transition from pre-training to fine-tuning and enhancing domain knowledge progressively. We also introduce DataRater, a model designed to assess data quality during CPT, ensuring that the training data is both accurate and relevant. For SFT, we develope a large and diverse bilingual dataset, along with ConFilter, a metric to enhance multi-turn dialogue quality, which is crucial to improving the model's ability to handle more complex dialogues. The combination of high-quality data sources and innovative techniques significantly improves CareBot's performance across a range of medical applications. Our rigorous evaluations on Chinese and English benchmarks confirm CareBot's effectiveness in medical consultation and education. These advancements not only address current limitations in medical LLMs but also set a new standard for developing effective and reliable open-source models in the medical domain. We will open-source the datasets and models later, contributing valuable resources to the research community.
• Abstract（参考訳）: 近年、オープンソースLLMとオープンソースコミュニティの両方が大きな進歩を遂げており、様々な一般領域において人間よりも優れています。 しかし、医学などの専門分野、特にオープンソースコミュニティにおけるパフォーマンスは、医学知識の複雑さのため、依然として最適以下である。 本稿では,連続事前学習(CPT),教師付き微調整(SFT),人間フィードバックによる強化学習(RLHF)を総合的に統合したバイリンガル医療用LLMであるCareBotを提案する。 安定なCPTとBoost CPTからなる新しい2段階CPT法は、汎用データとドメイン固有データのギャップを効果的に橋渡しし、事前学習から微調整へのスムーズな移行を容易にし、ドメイン知識を徐々に向上させる。 また、CPT中にデータ品質を評価するために設計されたモデルであるDataRaterを導入し、トレーニングデータが正確かつ適切であることを保証します。 SFTでは,多方向対話の品質向上のための指標であるConFilterとともに,大規模かつ多様なバイリンガルデータセットを開発し,より複雑な対話処理能力の向上に不可欠である。 高品質なデータソースと革新的な技術を組み合わせることで、CareBotのパフォーマンスは幅広い医療アプリケーションで大幅に向上する。 漢英ベンチマークの厳格な評価は、医療相談・教育におけるCareBotの有効性を裏付けるものである。 これらの進歩は、医学 LLM の現在の限界に対処するだけでなく、医療領域において効果的で信頼性の高いオープンソースモデルを開発するための新しい標準も設定している。 私たちは後にデータセットとモデルをオープンソース化し、研究コミュニティに貴重なリソースを提供します。

関連論文リスト

• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• Aqulia-Med LLM: Pioneering Full-Process Open-Source Medical Language Models [8.252044870864523]
  我々はAquilaをベースとしたバイリンガル医療用LLMであるAquila-Medを提案する。 我々は,中国語と英語の大規模医療データセットを構築し,事前トレーニングを継続し,高品質なSFTデータセットを構築した。 Aquila-Medは、シングルターン、マルチターンダイアログ、医療マルチチョイスの質問で顕著な結果を得る。
  論文  参考訳（メタデータ） (2024-06-18T01:30:07Z)
• LLM-Assisted Multi-Teacher Continual Learning for Visual Question Answering in Robotic Surgery [57.358568111574314]
  患者のデータのプライバシは、モデル更新時に古いデータの可用性を制限することが多い。 CL研究は外科領域で2つの重要な問題を見落としていた。 本稿では,多モーダル大規模言語モデル (LLM) と適応重み付け手法を用いて,これらの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-02-26T15:35:24Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Natural Language Programming in Medicine: Administering Evidence Based Clinical Workflows with Autonomous Agents Powered by Generative Large Language Models [29.05425041393475]
  ジェネレーティブ・大型言語モデル(LLM)は医療において大きな可能性を秘めている。 本研究は, シミュレーション3次医療センターにおいて, 自律型エージェントとして機能するLSMの可能性を評価した。
  論文  参考訳（メタデータ） (2024-01-05T15:09:57Z)
• README: Bridging Medical Jargon and Lay Understanding for Patient Education through Data-Centric NLP [9.432205523734707]
  医療用語を患者に親しみやすい平易な言語に簡略化することを目的とした,レイ定義の自動生成という新たなタスクを導入する。 このデータセットは、5万以上のユニークな(医療用語、日常の定義)ペアと30万の言及からなる。 また、データフィルタリング、拡張、選択を相乗化してデータ品質を改善する、データ中心のHuman-AIパイプラインも開発しました。
  論文  参考訳（メタデータ） (2023-12-24T23:01:00Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Multi-Site Clinical Federated Learning using Recursive and Attentive Models and NVFlare [13.176351544342735]
  本稿では、データプライバシと規制コンプライアンスの課題に対処する統合フレームワークを開発する。 これには、データのプライバシと規制コンプライアンスの課題に対処し、高い精度を維持し、提案されたアプローチの有効性を実証する統合フレームワークの開発が含まれている。
  論文  参考訳（メタデータ） (2023-06-28T17:00:32Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Patchwork Learning: A Paradigm Towards Integrative Analysis across Diverse Biomedical Data Sources [40.32772510980854]
  パッチワーク学習(PL)とは、異なるデータモダリティからなる異なるデータセットからの情報を統合するパラダイムである。 PLはデータのプライバシを保持しながら、補完的なデータソースの同時利用を可能にする。 本稿では、パッチワーク学習の概念とその医療における実装について紹介し、潜在的な機会と適用可能なデータソースを探求する。
  論文  参考訳（メタデータ） (2023-05-10T14:50:33Z)
• Large Language Models for Healthcare Data Augmentation: An Example on Patient-Trial Matching [49.78442796596806]
  患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。 本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
  論文  参考訳（メタデータ） (2023-03-24T03:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。