論文の概要: PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications

• arxiv url: http://arxiv.org/abs/2405.19266v3
• Date: Mon, 04 Nov 2024 15:49:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:41:18.307668
• Title: PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications
• Title（参考訳）: 小児科GPT:中国における小児科用医療アシスタントとしての大規模言語モデル
• Authors: Dingkang Yang, Jinjie Wei, Dongling Xiao, Shunli Wang, Tong Wu, Gang Li, Mingcheng Li, Shuaibing Wang, Jiawei Chen, Yue Jiang, Qingyao Xu, Ke Li, Peng Zhai, Lihua Zhang,
• Abstract要約: PedCorpusは、小児科の教科書、ガイドライン、知識グラフリソースから30万以上のマルチタスク・インストラクションを収集し、多様な診断要求を満たすための高品質なデータセットである。 PedCorpusを十分に設計した上で,系統的かつ堅牢なトレーニングパイプライン上に構築された,中国初の小児 LLM アシスタントであるPediatricsGPT を提案する。
• 参考スコア（独自算出の注目度）: 22.175201525690493
• License:
• Abstract: Developing intelligent pediatric consultation systems offers promising prospects for improving diagnostic efficiency, especially in China, where healthcare resources are scarce. Despite recent advances in Large Language Models (LLMs) for Chinese medicine, their performance is sub-optimal in pediatric applications due to inadequate instruction data and vulnerable training procedures. To address the above issues, this paper builds PedCorpus, a high-quality dataset of over 300,000 multi-task instructions from pediatric textbooks, guidelines, and knowledge graph resources to fulfil diverse diagnostic demands. Upon well-designed PedCorpus, we propose PediatricsGPT, the first Chinese pediatric LLM assistant built on a systematic and robust training pipeline. In the continuous pre-training phase, we introduce a hybrid instruction pre-training mechanism to mitigate the internal-injected knowledge inconsistency of LLMs for medical domain adaptation. Immediately, the full-parameter Supervised Fine-Tuning (SFT) is utilized to incorporate the general medical knowledge schema into the models. After that, we devise a direct following preference optimization to enhance the generation of pediatrician-like humanistic responses. In the parameter-efficient secondary SFT phase, a mixture of universal-specific experts strategy is presented to resolve the competency conflict between medical generalist and pediatric expertise mastery. Extensive results based on the metrics, GPT-4, and doctor evaluations on distinct doctor downstream tasks show that PediatricsGPT consistently outperforms previous Chinese medical LLMs. Our model and dataset will be open-source for community development.
• Abstract（参考訳）: インテリジェントな小児相談システムの開発は、特に医療資源が乏しい中国では、診断効率を改善するための有望な見通しを提供する。 漢方医学におけるLarge Language Models (LLMs) の最近の進歩にもかかわらず, 教育データ不足や訓練方法の脆弱さにより, 小児科領域での性能は準最適である。 以上の課題に対処するため,本論文では,小児科の教科書,ガイドライン,知識グラフリソースから得られた30,000以上のマルチタスク・インストラクションの高品質データセットであるPedCorpusを構築し,多様な診断要求を満たす。 PedCorpusを十分に設計した上で,系統的かつ堅牢なトレーニングパイプライン上に構築された,中国初の小児 LLM アシスタントであるPediatricsGPT を提案する。 医用領域適応のための LLM の内部注入型知識の不整合を緩和するためのハイブリッド・インストラクション・プレトレーニング・メカニズムを導入する。 即時、フルパラメータ・スーパービジョン・ファインチューニング(SFT)を使用して、一般的な医療知識スキーマをモデルに組み込む。 その後、小児科のような人文主義的反応の生成を促進するために、直接追従選好最適化を考案した。 パラメータ効率のよい二次SFTフェーズでは、医務総長と小児専門職との能力衝突を解決するために、普遍的な専門家戦略の混合が提示される。 測定値, GPT-4, 医師の評価結果から, ペディアトリスGPTは旧来の中国医学LLMより一貫して優れていたことが示唆された。 私たちのモデルとデータセットは、コミュニティ開発のためにオープンソースになります。

関連論文リスト

• Intelligent Understanding of Large Language Models in Traditional Chinese Medicine Based on Prompt Engineering Framework [3.990633038739491]
  本稿では,事前学習型言語モデル(PLM)やテンプレート,トークン化,動詞化などを統合するフレームワークであるTCM-Promptを提案する。 疾患分類,シンドローム同定,ハーブ・メディカル・レコメンデーション,一般NLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-10-25T10:24:30Z)
• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
  本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。 患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-22T17:44:40Z)
• A Survey on Large Language Models from General Purpose to Medical Applications: Datasets, Methodologies, and Evaluations [5.265452667976959]
  本調査は,オープンソース汎用LSMをベースとした医療用LSMのトレーニング方法を体系的にまとめたものである。 a) トレーニングコーパスの取得方法、カスタマイズされた医療トレーニングセットの構築方法、(b) 適切なトレーニングパラダイムの選択方法、(d) 既存の課題と有望な研究方向性をカバーしている。
  論文  参考訳（メタデータ） (2024-06-14T02:42:20Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue [4.558040877516838]
  我々は、連続事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで、トレーニングパイプライン全体を実装した最初の中国医学大言語モデル(LLM)であるZhongjingを紹介した。 我々は, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話 CMtMedQA の多ターン医療対話データセットを構築した。
  論文  参考訳（メタデータ） (2023-08-07T12:56:13Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Self-Supervised Knowledge Assimilation for Expert-Layman Text Style Transfer [63.72621204057025]
  エキスパート・レイマン・テキスト・スタイル・トランスファー技術は、科学コミュニティと一般大衆とのコミュニケーションを改善する可能性がある。 専門家が生み出す高品質な情報は、しばしば難しいジャーゴンの平民が理解するのに苦労している。 これは医療分野において特に顕著な問題であり、レイマンはしばしばオンラインの医療テキストに混同される。
  論文  参考訳（メタデータ） (2021-10-06T17:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。