論文の概要: Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language
Model through Expert Feedback and Real-world Multi-turn Dialogue
- arxiv url: http://arxiv.org/abs/2308.03549v3
- Date: Thu, 28 Dec 2023 15:20:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 22:38:07.807045
- Title: Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language
Model through Expert Feedback and Real-world Multi-turn Dialogue
- Title(参考訳): zhongjing: エキスパートフィードバックと現実世界のマルチターン対話による大規模言語モデルの中国の医療能力の向上
- Authors: Songhua Yang, Hanjie Zhao, Senbin Zhu, Guangyu Zhou, Hongfei Xu,
Yuxiang Jia, Hongying Zan
- Abstract要約: 我々は、連続事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで、トレーニングパイプライン全体を実装した最初の中国医学大言語モデル(LLM)であるZhongjingを紹介した。
我々は, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話 CMtMedQA の多ターン医療対話データセットを構築した。
- 参考スコア(独自算出の注目度): 4.558040877516838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Large Language Models (LLMs) have achieved remarkable
breakthroughs in understanding and responding to user intents. However, their
performance lag behind general use cases in some expertise domains, such as
Chinese medicine. Existing efforts to incorporate Chinese medicine into LLMs
rely on Supervised Fine-Tuning (SFT) with single-turn and distilled dialogue
data. These models lack the ability for doctor-like proactive inquiry and
multi-turn comprehension and cannot align responses with experts' intentions.
In this work, we introduce Zhongjing, the first Chinese medical LLaMA-based LLM
that implements an entire training pipeline from continuous pre-training, SFT,
to Reinforcement Learning from Human Feedback (RLHF). Additionally, we
construct a Chinese multi-turn medical dialogue dataset of 70,000 authentic
doctor-patient dialogues, CMtMedQA, which significantly enhances the model's
capability for complex dialogue and proactive inquiry initiation. We also
define a refined annotation rule and evaluation criteria given the unique
characteristics of the biomedical domain. Extensive experimental results show
that Zhongjing outperforms baselines in various capacities and matches the
performance of ChatGPT in some abilities, despite the 100x parameters. Ablation
studies also demonstrate the contributions of each component: pre-training
enhances medical knowledge, and RLHF further improves instruction-following
ability and safety. Our code, datasets, and models are available at
https://github.com/SupritYoung/Zhongjing.
- Abstract(参考訳): 近年のLLM(Large Language Models)の進歩は,ユーザの意図を理解し,応答する上で画期的な成果を上げている。
しかし、その性能は中国医学などいくつかの専門分野の一般的なユースケースに及ばない。
LLMに漢方薬を組み込む既存の取り組みは、シングルターンおよび蒸留ダイアログデータを備えたスーパービジョンファインチューニング(SFT)に依存している。
これらのモデルには、医師のような積極的調査やマルチターン理解能力がなく、専門家の意図と対応できない。
本研究では,中国初の医療用LLaMAをベースとしたLLMであるZhongjingを,継続的事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで,トレーニングパイプライン全体を実装した。
さらに,中国における7万件の医師-患者対話のマルチターン医療対話データセットであるCMtMedQAを構築し,複雑な対話能力と積極的な調査開始能力を大幅に向上させた。
また, バイオメディカルドメインの特徴を考慮し, 洗練されたアノテーションルールと評価基準を定式化する。
広汎な実験結果から,Zhongjingは様々な能力でベースラインを上回り,ChatGPTの性能は100倍のパラメータにもかかわらずある程度の能力で一致した。
プレトレーニングは医学的知識を高め、RLHFは指示追従能力と安全性をさらに向上させる。
私たちのコード、データセット、モデルはhttps://github.com/suprityoung/zhongjing.com/で利用可能です。
関連論文リスト
- Qibo: A Large Language Model for Traditional Chinese Medicine [8.880218477651418]
我々は,TCM理論の特徴となる専門知識を持つ大規模モデルを実現するため,TCMの分野におけるプロフェッショナルコーパスの構築と組織化を目指している。
LLaMAをベースとしたQiboモデルも開発しています。これはTCMの分野において、事前トレーニングから監督ファインチューニング(SFT)までの完全なトレーニングプロセスを実行する最初のLLMです。
論文 参考訳(メタデータ) (2024-03-24T07:48:05Z) - MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large
Language Models [56.36916128631784]
中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。
このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。
幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
論文 参考訳(メタデータ) (2023-12-20T07:01:49Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - Large Language Models Illuminate a Progressive Pathway to Artificial
Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。
本稿では,医学におけるLSMの応用と意義について概説する。
論文 参考訳(メタデータ) (2023-11-03T13:51:36Z) - PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain [24.411904114158673]
我々は、中国生物医学言語理解評価(CBlue)ベンチマークを大規模なプロンプトチューニングベンチマークであるPromptCBlueに再構築した。
我々のベンチマークは、幅広いバイオメディカルタスクにおいて、中国のLCMのマルチタスク能力を評価するのに適したテストベッドであり、オンラインプラットフォームである。
論文 参考訳(メタデータ) (2023-10-22T02:20:38Z) - CMB: A Comprehensive Medical Benchmark in Chinese [67.69800156990952]
そこで我々は,中国語の包括的医療ベンチマークであるCMB(Comprehensive Medical Benchmark)を提案する。
伝統的な中国医学はこの評価に欠かせないものであるが、全体としては成り立たない。
われわれは,ChatGPT,GPT-4,中国専用LSM,医療分野に特化したLSMなど,いくつかの大規模LSMを評価した。
論文 参考訳(メタデータ) (2023-08-17T07:51:23Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳(メタデータ) (2023-04-27T18:29:05Z) - Towards Medical Artificial General Intelligence via Knowledge-Enhanced
Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。
我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-04-26T01:26:19Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳(メタデータ) (2021-06-15T12:25:30Z) - Knowledge-Empowered Representation Learning for Chinese Medical Reading
Comprehension: Task, Model and Resources [36.960318276653986]
医療領域を対象としたマルチターゲットMRCタスクを導入し,医療質問に対する回答とそれに対応する文章を同時に予測することを目的とする。
本稿では, 医学知識を事前学習言語モデルに融合させる, タスクのための中国の医療用BERTモデル(CMedBERT)を提案する。
実験の結果,CMedBERTはコンテキスト認識と知識認識のトークン表現を融合することにより,強いベースラインを一貫して上回ることがわかった。
論文 参考訳(メタデータ) (2020-08-24T11:23:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。