Fugu-MT 論文翻訳(概要): Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue

論文の概要: Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue

arxiv url: http://arxiv.org/abs/2308.03549v3
Date: Thu, 28 Dec 2023 15:20:24 GMT
ステータス: 処理完了
システム内更新日: 2023-12-29 22:38:07.807045
Title: Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue
Title（参考訳）: zhongjing: エキスパートフィードバックと現実世界のマルチターン対話による大規模言語モデルの中国の医療能力の向上
Authors: Songhua Yang, Hanjie Zhao, Senbin Zhu, Guangyu Zhou, Hongfei Xu, Yuxiang Jia, Hongying Zan
Abstract要約: 我々は、連続事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで、トレーニングパイプライン全体を実装した最初の中国医学大言語モデル(LLM)であるZhongjingを紹介した。我々は, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話 CMtMedQA の多ターン医療対話データセットを構築した。
参考スコア（独自算出の注目度）: 4.558040877516838
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in Large Language Models (LLMs) have achieved remarkable breakthroughs in understanding and responding to user intents. However, their performance lag behind general use cases in some expertise domains, such as Chinese medicine. Existing efforts to incorporate Chinese medicine into LLMs rely on Supervised Fine-Tuning (SFT) with single-turn and distilled dialogue data. These models lack the ability for doctor-like proactive inquiry and multi-turn comprehension and cannot align responses with experts' intentions. In this work, we introduce Zhongjing, the first Chinese medical LLaMA-based LLM that implements an entire training pipeline from continuous pre-training, SFT, to Reinforcement Learning from Human Feedback (RLHF). Additionally, we construct a Chinese multi-turn medical dialogue dataset of 70,000 authentic doctor-patient dialogues, CMtMedQA, which significantly enhances the model's capability for complex dialogue and proactive inquiry initiation. We also define a refined annotation rule and evaluation criteria given the unique characteristics of the biomedical domain. Extensive experimental results show that Zhongjing outperforms baselines in various capacities and matches the performance of ChatGPT in some abilities, despite the 100x parameters. Ablation studies also demonstrate the contributions of each component: pre-training enhances medical knowledge, and RLHF further improves instruction-following ability and safety. Our code, datasets, and models are available at https://github.com/SupritYoung/Zhongjing.
Abstract（参考訳）: 近年のLLM(Large Language Models)の進歩は,ユーザの意図を理解し,応答する上で画期的な成果を上げている。しかし、その性能は中国医学などいくつかの専門分野の一般的なユースケースに及ばない。 LLMに漢方薬を組み込む既存の取り組みは、シングルターンおよび蒸留ダイアログデータを備えたスーパービジョンファインチューニング(SFT)に依存している。これらのモデルには、医師のような積極的調査やマルチターン理解能力がなく、専門家の意図と対応できない。本研究では,中国初の医療用LLaMAをベースとしたLLMであるZhongjingを,継続的事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで,トレーニングパイプライン全体を実装した。さらに,中国における7万件の医師-患者対話のマルチターン医療対話データセットであるCMtMedQAを構築し,複雑な対話能力と積極的な調査開始能力を大幅に向上させた。また, バイオメディカルドメインの特徴を考慮し, 洗練されたアノテーションルールと評価基準を定式化する。広汎な実験結果から,Zhongjingは様々な能力でベースラインを上回り,ChatGPTの性能は100倍のパラメータにもかかわらずある程度の能力で一致した。プレトレーニングは医学的知識を高め、RLHFは指示追従能力と安全性をさらに向上させる。私たちのコード、データセット、モデルはhttps://github.com/suprityoung/zhongjing.com/で利用可能です。

関連論文リスト

RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。実験の結果,提案手法の有効性が示された。
論文参考訳（メタデータ） (2024-08-22T17:44:40Z)
Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-29T23:19:28Z)
AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文参考訳（メタデータ） (2024-02-15T06:46:48Z)
ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文参考訳（メタデータ） (2023-11-10T12:25:32Z)
Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。本稿では,医学におけるLSMの応用と意義について概説する。
論文参考訳（メタデータ） (2023-11-03T13:51:36Z)
PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain [24.411904114158673]
我々は、中国生物医学言語理解評価(CBlue)ベンチマークを大規模なプロンプトチューニングベンチマークであるPromptCBlueに再構築した。我々のベンチマークは、幅広いバイオメディカルタスクにおいて、中国のLCMのマルチタスク能力を評価するのに適したテストベッドであり、オンラインプラットフォームである。
論文参考訳（メタデータ） (2023-10-22T02:20:38Z)
PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文参考訳（メタデータ） (2023-04-27T18:29:05Z)
Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
本稿では,Re$3$Writer法を提案する。本手法が患者の退院指示生成に有効であることを示す。
論文参考訳（メタデータ） (2022-10-23T16:34:39Z)
Knowledge-Empowered Representation Learning for Chinese Medical Reading Comprehension: Task, Model and Resources [36.960318276653986]
医療領域を対象としたマルチターゲットMRCタスクを導入し,医療質問に対する回答とそれに対応する文章を同時に予測することを目的とする。本稿では, 医学知識を事前学習言語モデルに融合させる, タスクのための中国の医療用BERTモデル(CMedBERT)を提案する。実験の結果,CMedBERTはコンテキスト認識と知識認識のトークン表現を融合することにより,強いベースラインを一貫して上回ることがわかった。
論文参考訳（メタデータ） (2020-08-24T11:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。