論文の概要: Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language
Model through Expert Feedback and Real-world Multi-turn Dialogue
- arxiv url: http://arxiv.org/abs/2308.03549v2
- Date: Mon, 14 Aug 2023 02:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 18:32:23.963997
- Title: Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language
Model through Expert Feedback and Real-world Multi-turn Dialogue
- Title(参考訳): zhongjing: エキスパートフィードバックと現実世界のマルチターン対話による大規模言語モデルの中国の医療能力の向上
- Authors: Songhua Yang, Hanjie Zhao, Senbin Zhu, Guangyu Zhou, Hongfei Xu,
Yuxiang Jia, Hongying Zan
- Abstract要約: Zhongjingは中国初の医療用大規模言語モデル(LLM)で、事前学習から人間からのフィードバックによる強化学習まで、トレーニングパイプライン全体を実装する。
そこで本研究では,中国における7万件の医師-患者対話データセットであるCMtMedQAについて紹介する。
- 参考スコア(独自算出の注目度): 4.558040877516838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Large Language Models (LLMs) have achieved remarkable
breakthroughs in understanding and responding to user intents. However, their
performance lag behind general use cases in some expertise domains, such as
Chinese medicine. Existing efforts to incorporate Chinese medicine into LLMs
rely on Supervised Fine-Tuning (SFT) with single-turn and distilled dialogue
data. These models lack the ability for doctor-like proactive inquiry and
multi-turn comprehension and cannot always align responses with safety and
professionalism experts. In this work, we introduce Zhongjing, the first
Chinese medical LLaMA-based LLM that implements an entire training pipeline
from pre-training to reinforcement learning with human feedback (RLHF).
Additionally, we introduce a Chinese multi-turn medical dialogue dataset of
70,000 authentic doctor-patient dialogues, CMtMedQA, which significantly
enhances the model's capability for complex dialogue and proactive inquiry
initiation. We define a refined annotation rule and evaluation criteria given
the biomedical domain's unique characteristics. Results show that our model
outperforms baselines in various capacities and matches the performance of
ChatGPT in a few abilities, despite having 50x training data with previous best
model and 100x parameters with ChatGPT. RLHF further improves the model's
instruction-following ability and safety.We also release our code, datasets and
model for further research.
- Abstract(参考訳): 近年のLLM(Large Language Models)の進歩は,ユーザの意図を理解し,応答する上で画期的な成果を上げている。
しかし、その性能は中国医学などいくつかの専門分野の一般的なユースケースに及ばない。
LLMに漢方薬を組み込む既存の取り組みは、シングルターンおよび蒸留ダイアログデータを備えたスーパービジョンファインチューニング(SFT)に依存している。
これらのモデルには、医師のような積極的調査やマルチターン理解能力がなく、常に安全とプロフェッショナル主義の専門家と対応できない。
本稿では,前訓練から人間フィードバックによる強化学習(rlhf)までのトレーニングパイプライン全体を実装した,中国初の医学llamaベースのllmであるzhongjingを紹介する。
さらに, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話の多ターン医療対話データセット CMtMedQA を導入する。
バイオメディカルドメインのユニークな特徴を考慮し, アノテーション規則と評価基準を定義した。
その結果,ChatGPTを用いた50倍のトレーニングデータと,ChatGPTを用いた100倍のパラメータを持つにもかかわらず,モデルが様々な能力でベースラインを上回り,ChatGPTの性能に匹敵することがわかった。
RLHFは、モデルの命令追従能力と安全性をさらに改善し、さらなる研究のためのコード、データセット、モデルもリリースします。
関連論文リスト
- Qibo: A Large Language Model for Traditional Chinese Medicine [8.880218477651418]
我々は,TCM理論の特徴となる専門知識を持つ大規模モデルを実現するため,TCMの分野におけるプロフェッショナルコーパスの構築と組織化を目指している。
LLaMAをベースとしたQiboモデルも開発しています。これはTCMの分野において、事前トレーニングから監督ファインチューニング(SFT)までの完全なトレーニングプロセスを実行する最初のLLMです。
論文 参考訳(メタデータ) (2024-03-24T07:48:05Z) - MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large
Language Models [56.36916128631784]
中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。
このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。
幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
論文 参考訳(メタデータ) (2023-12-20T07:01:49Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - Large Language Models Illuminate a Progressive Pathway to Artificial
Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。
本稿では,医学におけるLSMの応用と意義について概説する。
論文 参考訳(メタデータ) (2023-11-03T13:51:36Z) - PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain [24.411904114158673]
我々は、中国生物医学言語理解評価(CBlue)ベンチマークを大規模なプロンプトチューニングベンチマークであるPromptCBlueに再構築した。
我々のベンチマークは、幅広いバイオメディカルタスクにおいて、中国のLCMのマルチタスク能力を評価するのに適したテストベッドであり、オンラインプラットフォームである。
論文 参考訳(メタデータ) (2023-10-22T02:20:38Z) - CMB: A Comprehensive Medical Benchmark in Chinese [67.69800156990952]
そこで我々は,中国語の包括的医療ベンチマークであるCMB(Comprehensive Medical Benchmark)を提案する。
伝統的な中国医学はこの評価に欠かせないものであるが、全体としては成り立たない。
われわれは,ChatGPT,GPT-4,中国専用LSM,医療分野に特化したLSMなど,いくつかの大規模LSMを評価した。
論文 参考訳(メタデータ) (2023-08-17T07:51:23Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳(メタデータ) (2023-04-27T18:29:05Z) - Towards Medical Artificial General Intelligence via Knowledge-Enhanced
Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。
我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-04-26T01:26:19Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳(メタデータ) (2021-06-15T12:25:30Z) - Knowledge-Empowered Representation Learning for Chinese Medical Reading
Comprehension: Task, Model and Resources [36.960318276653986]
医療領域を対象としたマルチターゲットMRCタスクを導入し,医療質問に対する回答とそれに対応する文章を同時に予測することを目的とする。
本稿では, 医学知識を事前学習言語モデルに融合させる, タスクのための中国の医療用BERTモデル(CMedBERT)を提案する。
実験の結果,CMedBERTはコンテキスト認識と知識認識のトークン表現を融合することにより,強いベースラインを一貫して上回ることがわかった。
論文 参考訳(メタデータ) (2020-08-24T11:23:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。